消息，美國(guó)半導(dǎo)體行業(yè)雜志EE Times（《電子工程專(zhuān)輯》）周二報(bào)道，在2023年生成式AI熱潮下，隨著HBM3的量產(chǎn)，適用于AI應(yīng)用與數(shù)據(jù)計(jì)算的HBM內(nèi)存的功耗受到越來(lái)越多關(guān)注。

隨著AI技術(shù)的迅猛發(fā)展，企業(yè)對(duì)AI服務(wù)器內(nèi)存帶寬的需求正持續(xù)上升，但數(shù)據(jù)中心電力成本的不斷上漲使企業(yè)開(kāi)始將每瓦帶寬作為重要的指標(biāo)。企業(yè)在選擇內(nèi)存時(shí)面臨成本和性能的平衡考量。

作為能夠滿足AI對(duì)高帶寬內(nèi)存需求的關(guān)鍵技術(shù)，HBM成為企業(yè)的首選內(nèi)存。美光、三星等HBM供應(yīng)商正探索創(chuàng)新解決方案，降低HBM功耗，確保HBM在未來(lái)高性能計(jì)算和AI應(yīng)用中發(fā)揮關(guān)鍵作用。

EE Times專(zhuān)訪了美國(guó)著名半導(dǎo)體技術(shù)供應(yīng)商Rambus硅IP產(chǎn)品營(yíng)銷(xiāo)高級(jí)總監(jiān)Lou Ternullo、美國(guó)市場(chǎng)研究和咨詢(xún)公司Objective Analysis首席分析師Jim Handy、全球最大半導(dǎo)體IP接口供應(yīng)商新思科技高級(jí)產(chǎn)品經(jīng)理Graham Allan、以及美光產(chǎn)品管理高級(jí)總監(jiān)Girish Cherussery，討論了在當(dāng)前AI持續(xù)發(fā)展下，HBM面臨的功耗問(wèn)題和供應(yīng)商可以采取的技術(shù)措施等話題。

一、電力能耗持續(xù)上漲，內(nèi)存選擇受到成本限制

Lou Ternullo在接受采訪時(shí)稱(chēng)，AI對(duì)內(nèi)存帶寬的需求不斷增加，與HBM帶寬的增加直接相關(guān)。他說(shuō)：“在整個(gè)市場(chǎng)上，我們看到數(shù)據(jù)集和訓(xùn)練模型的參數(shù)越來(lái)越大，2023年的生成式AI熱潮只是加速了這一趨勢(shì)?！?/span>

他認(rèn)為，人們對(duì)AI服務(wù)器的性能、內(nèi)存帶寬和內(nèi)存大小等需求呈指數(shù)級(jí)增長(zhǎng)，這給下一代HBM帶來(lái)了更高的期望和壓力。

此外，雖然每瓦帶寬這一概念并不新鮮，HBM對(duì)每瓦帶寬進(jìn)行了優(yōu)化以提高服務(wù)器效率，但AI數(shù)據(jù)中心的能耗一直在上升。Ternullo稱(chēng)：“2023年各企業(yè)對(duì)生成式AI的巨額投資和部署讓一些人預(yù)測(cè)到2026年數(shù)據(jù)中心的用電量將翻一番?！?/span>

Ternullo補(bǔ)充說(shuō)，數(shù)據(jù)中心快速增長(zhǎng)的電力成本意味著，對(duì)于需要監(jiān)控運(yùn)營(yíng)成本的企業(yè)來(lái)說(shuō)，每瓦帶寬正在成為一個(gè)更加重要的指標(biāo)。隨著社會(huì)對(duì)可持續(xù)發(fā)展倡議的日益關(guān)注，這一點(diǎn)變得更加重要。

與HBM相關(guān)的高成本和內(nèi)存本身的高價(jià)格意味著，在決定超大功率內(nèi)存是否需要應(yīng)用時(shí)，企業(yè)總體擁有成本成為決定性因素，即企業(yè)整個(gè)數(shù)據(jù)中心的成本之和?？蛻粼跊Q定需要哪種內(nèi)存時(shí)，首先會(huì)考慮內(nèi)存的密度、性能和功耗等因素。

二、AI性能需求沒(méi)有上限，HBM成AI服務(wù)器最佳內(nèi)存

與其他存儲(chǔ)芯片相比，AI或機(jī)器學(xué)習(xí)是極少數(shù)能夠?qū)⒏嘿F的HBM商業(yè)化的應(yīng)用之一。Ternullo稱(chēng)：“像AI這樣的應(yīng)用對(duì)內(nèi)存帶寬有著無(wú)盡的渴求，這些應(yīng)用能為企業(yè)帶來(lái)更高的投資回報(bào)率，這就證明了HBM成本較高的合理性。”

不過(guò)，AI需求增加并不直接導(dǎo)致HBM成本上升。這是因?yàn)?，AI需求主要推動(dòng)企業(yè)對(duì)GPU使用的增加，但GPU通常需要HBM的使用才能達(dá)到AI服務(wù)器的預(yù)期性能。

Jim Handy稱(chēng)，企業(yè)需要明確的使用HBM的理由。對(duì)于某些圖形應(yīng)用，類(lèi)似AMD這樣的公司會(huì)在某些GPU上使用GDDR顯存，因?yàn)镚DDR相較HBM更加便宜。

Handy解釋?zhuān)贏I場(chǎng)景外，GPU主要用于圖形處理，尤其是用于游戲和計(jì)算機(jī)動(dòng)畫(huà)后期特效。他說(shuō)：“許多公司都在使用GPU，而且數(shù)量還不少。他們會(huì)有一個(gè)裝滿GPU的大型數(shù)據(jù)中心?！彪m然GDDR最初為圖形工作而設(shè)計(jì)，但多年來(lái)的新興應(yīng)用已使其他應(yīng)用場(chǎng)景對(duì)GDDR產(chǎn)生了競(jìng)爭(zhēng)性需求。

同樣，Graham Allan認(rèn)為，考慮到AI發(fā)展，昂貴的HBM現(xiàn)在也很難買(mǎi)到。雖然HBM仍有邊緣應(yīng)用，但大部分應(yīng)用集中在AI領(lǐng)域。

即使HBM的第三次迭代已進(jìn)入大批量生產(chǎn)階段，Allan也不認(rèn)為這項(xiàng)技術(shù)已經(jīng)成熟?！癏BM在DRAM方面是獨(dú)一無(wú)二的，因?yàn)樗俏ㄒ徊话惭b在處理器旁邊主板上的DRAM?！彼f(shuō)，“不過(guò)，HBM的2.5D封裝技術(shù)需要額外的技術(shù)步驟，這給整個(gè)行業(yè)帶來(lái)了挑戰(zhàn)?！?/span>

三、HBM需要集成在處理器上，多家供應(yīng)商抓緊量產(chǎn)

Allan認(rèn)為DRAM的實(shí)現(xiàn)非常簡(jiǎn)單。他說(shuō)：“如果你想設(shè)計(jì)一個(gè)具有DDR5接口的SoC，你可以去查看開(kāi)源的任何一種參考設(shè)計(jì)，例如找到英特爾批準(zhǔn)的DDR5 DIMM，便可獲得所有零部件號(hào)。這是一項(xiàng)成熟的技術(shù)?！?/span>

但對(duì)于HBM來(lái)說(shuō)，包括DRAM在內(nèi)的所有部分都封裝在SoC內(nèi)。企業(yè)可以從美光、三星和SK海力士等多家供應(yīng)商中選擇HBM，同時(shí)必須解決如何設(shè)計(jì)Interposer（中介層）組裝以及其他問(wèn)題，包括信號(hào)路徑和信號(hào)完整性。

新思科技為客戶提供控制HBM所需的IP，包括控制器（Controllers）、物理層接口（PHY）以及驗(yàn)證IP（verification IP）。Allan說(shuō)：“客戶正在尋求在HBM專(zhuān)業(yè)技術(shù)和特定參考設(shè)計(jì)方面的幫助。我們共享參考設(shè)計(jì)方案和一些最常見(jiàn)的中介層技術(shù)。此外，我們還協(xié)助硅片測(cè)試，包括中介層及組件的連接。這樣一來(lái)，我們可以為客戶提供完全定制的測(cè)試芯片?！?/span>

他認(rèn)為硅片測(cè)試對(duì)于HBM尤為重要，因?yàn)槠髽I(yè)一旦投入設(shè)計(jì)并將HBM應(yīng)用到系統(tǒng)中，再進(jìn)行更改就會(huì)非常耗時(shí)。

“HBM正在走向成熟，但仍遠(yuǎn)不及DDR和LPDDR技術(shù)成熟。盡管HBM4的邏輯方法與HBM3相似，但從DDR4到DDR5是一個(gè)巨大的飛躍。”Allan說(shuō)，“選擇使用HBM是一項(xiàng)重大承諾，因?yàn)樗訌?fù)雜，而且是一種低容量產(chǎn)品?？蛻粝ＭM可能降低決策風(fēng)險(xiǎn)?！?/span>

Allan還稱(chēng)，客戶之所以選擇HBM，是因?yàn)槠渌a(chǎn)品都無(wú)法滿足他們的要求。在HBM之下，對(duì)于一些應(yīng)用來(lái)說(shuō)，GDDR內(nèi)存可能是足夠的，并且GDDR7的容量是GDDR6的兩倍，數(shù)據(jù)傳輸率也有所提高。但數(shù)據(jù)傳輸率高是因?yàn)閿?shù)據(jù)傳輸?shù)耐ǖ老鄬?duì)較窄。

“你可以達(dá)到更高的數(shù)據(jù)傳輸率，但你必須非常小心地設(shè)計(jì)你的系統(tǒng)，因?yàn)槟愕南到y(tǒng)運(yùn)行速度非?？臁！彼f(shuō)。

不過(guò)，GDDR7是2026年的技術(shù)，并且去年推出的HBM3帶寬潛力較GDRR7還要高出3倍。Allan認(rèn)為帶寬的發(fā)展空間非常大。

他補(bǔ)充道，這并不意味著這樣的帶寬潛力足夠滿足企業(yè)對(duì)AI的需求，并且還有其他因素在影響整個(gè)服務(wù)器能完成多少任務(wù)。例如，中介層有可能成為瓶頸。如果服務(wù)器的PCB布線不佳，串?dāng)_過(guò)多，那么服務(wù)器性能最終可能會(huì)下降。

微電子產(chǎn)業(yè)領(lǐng)導(dǎo)標(biāo)準(zhǔn)機(jī)構(gòu)固態(tài)技術(shù)協(xié)會(huì)（JEDEC）目前正在制定HBM4規(guī)范，但不愿說(shuō)明這一規(guī)范的進(jìn)展情況。SK海力士副總裁金基泰（Kim Chun-hwan）在2024年韓國(guó)半導(dǎo)體展（Semicon Korea 2024）上發(fā)表主題演講時(shí)透露，該公司計(jì)劃在2026年之前開(kāi)始量產(chǎn)HBM4。

美光最近開(kāi)始量產(chǎn)其HBM3E內(nèi)存，今年HBM產(chǎn)能已基本售罄。該公司的首款HBM3E具備8層堆疊和24GB容量，并具有1024位接口、9.2GT/s的數(shù)據(jù)傳輸速率和1.2TB/s的總帶寬。

▲美光HBM3E規(guī)格（圖源：Micron Technology）

四、數(shù)據(jù)中心更加注重功耗，美光、三星采用不同方式降低內(nèi)存功耗

Girish Cherussery稱(chēng)，HBM剛進(jìn)入市場(chǎng)時(shí)，美光審查了HBM適用的工作負(fù)載，并決定將HBM性能目標(biāo)定為比行業(yè)需求高出30%?！拔覀兪墙?jīng)得起未來(lái)考驗(yàn)的?！盋herussery說(shuō)，“一個(gè)關(guān)鍵指標(biāo)是每瓦性能，這是一個(gè)關(guān)鍵的功耗邊界條件。我們專(zhuān)注于確保每瓦性能顯著提高?！?此外，客戶還希望HBM靠近計(jì)算單元。

Cherussery解釋道，包括大語(yǔ)言模型在內(nèi)的許多AI工作負(fù)載正變得越來(lái)越受內(nèi)存約束，而不是受計(jì)算約束。如果你的服務(wù)器有足夠的計(jì)算能力，那么服務(wù)器內(nèi)存帶寬和容量就會(huì)成為制約因素。AI工作負(fù)載給數(shù)據(jù)中心帶來(lái)了很大壓力。

此外，內(nèi)存利用率高意味著內(nèi)存功率是數(shù)據(jù)中心的耗電大戶，因此節(jié)省5瓦的電量就能提高內(nèi)存利用的效率。越來(lái)越多的數(shù)據(jù)中心看重瓦特?cái)?shù)而不是服務(wù)器的數(shù)量。使用HBM時(shí)，冷卻HBM也是一個(gè)重要因素，因?yàn)樗且环N堆疊式內(nèi)存。HBM運(yùn)轉(zhuǎn)產(chǎn)生的熱量需要散發(fā)出去。

除了帶寬、功耗和整體散熱情況外，易于集成是所有HBM最關(guān)鍵的特性。Cherussery稱(chēng)，美光擁有自己的專(zhuān)利，可以將其HBM集成到主機(jī)系統(tǒng)中。

“業(yè)界已經(jīng)為HBM3E做好了準(zhǔn)備，它可以很容易地被集成到使用HBM的系統(tǒng)中?！彼f(shuō)，“我們的產(chǎn)品可以無(wú)縫集成到相同的插槽中，無(wú)需任何改動(dòng)。它的占位面積與上一代產(chǎn)品相同?！?/span>

更高的帶寬和更大的容量將是HBM4的特點(diǎn)。隨著AI大模型的增長(zhǎng)，企業(yè)對(duì)HBM容量和帶寬的要求也呈線性增長(zhǎng)。

“內(nèi)存行業(yè)整體處于一個(gè)有趣的階段，因?yàn)閺奈闯霈F(xiàn)過(guò)某種工作負(fù)載如生成式AI和普通AI一般，與內(nèi)存帶寬和內(nèi)存容量的增長(zhǎng)呈線性關(guān)系。這意味著對(duì)于計(jì)算和內(nèi)存，企業(yè)將不得不開(kāi)始考慮與過(guò)去略有不同的系統(tǒng)。數(shù)據(jù)中心本身正變得越來(lái)越異構(gòu)。”他說(shuō)。

三星也見(jiàn)證了數(shù)據(jù)中心里異構(gòu)計(jì)算和更多以AI為重點(diǎn)的服務(wù)的顯著增長(zhǎng)。負(fù)責(zé)三星產(chǎn)品規(guī)劃和業(yè)務(wù)支持的副總裁金仁東（Indong Kim）說(shuō)：“這種增長(zhǎng)似乎與同時(shí)提供直接和間接AI解決方案的超大型企業(yè)的崛起相吻合。”

他認(rèn)為，數(shù)據(jù)中心正在不斷發(fā)展，以便將計(jì)算資源的最大潛力用于包括AI在內(nèi)的特定工作負(fù)載，實(shí)現(xiàn)這樣潛力的重點(diǎn)在于DRAM帶寬和容量。尤其令人興奮的是，采用CPU和專(zhuān)用加速器這兩種不同類(lèi)型處理器的異構(gòu)架構(gòu)，在提升內(nèi)存方面的目標(biāo)是一致的。他相信，這一趨勢(shì)將為DRAM制造商提供巨大的增長(zhǎng)機(jī)會(huì)。

在Memcon 2024大會(huì)上，三星展示了該公司所稱(chēng)的全球首款12堆棧HBM3E DRAM。它采用了三星先進(jìn)的熱壓非導(dǎo)電膜（TC NCF）技術(shù)，內(nèi)部垂直密度較前代產(chǎn)品提高了20%以上，同時(shí)還提高了產(chǎn)品良率。隨著大規(guī)模并行計(jì)算在高性能計(jì)算（HPC）環(huán)境中越來(lái)越普及，Kim稱(chēng)HBM需求還將激增。

三星的HBM3E DRAM專(zhuān)為滿足高性能計(jì)算和苛刻的AI應(yīng)用而設(shè)計(jì)。該公司還推出了基于Compute Express Link（CXL）開(kāi)放互連協(xié)議的Memory Module-Box（CMM-B）內(nèi)存盒模組，旨在支持需要大容量?jī)?nèi)存的應(yīng)用，例如AI、內(nèi)存數(shù)據(jù)庫(kù)和數(shù)據(jù)分析。CMM-B還支持內(nèi)存池（memory pooling），這是異構(gòu)計(jì)算的一個(gè)關(guān)鍵要素。

▲三星推出CXL Memory Module-Box內(nèi)存盒模組（圖源：Samsung Electronics）

金仁東稱(chēng)，AI對(duì)內(nèi)存容量和帶寬的需求不斷增長(zhǎng)，模型的參數(shù)規(guī)模不斷增長(zhǎng)，加速了存儲(chǔ)芯片玩家對(duì)不同存儲(chǔ)技術(shù)研發(fā)的步伐。CXL協(xié)議與HBM相互交織，為應(yīng)對(duì)不斷增長(zhǎng)的AI需求提供最佳特性，促進(jìn)現(xiàn)有的DRAM-SSD存儲(chǔ)層次結(jié)構(gòu)的發(fā)展。

他說(shuō)：“我們相信，CXL將成為不斷增長(zhǎng)的容量需求的完美補(bǔ)充，提供最佳特性，彌合現(xiàn)有的DRAM-SSD層次結(jié)構(gòu)?！?/span>

結(jié)語(yǔ)：HBM發(fā)展前景廣闊，幫助企業(yè)降低成本

隨著AI對(duì)內(nèi)存帶寬需求的持續(xù)增長(zhǎng)，HBM作為一種高性能內(nèi)存技術(shù)受到越來(lái)越多的關(guān)注。盡管HBM面臨著成本高、集成復(fù)雜等挑戰(zhàn)，但其在AI數(shù)據(jù)中心和其他應(yīng)用場(chǎng)景中的重要性不斷凸顯。HBM供應(yīng)商也在采取不同的技術(shù)降低HBM功耗，以幫助節(jié)省數(shù)據(jù)中心電力成本。

在此背景下，HBM逐漸走向成熟，但仍需面臨DDR和LPDDR等成熟技術(shù)的挑戰(zhàn)。隨著HBM4、HBM3E的開(kāi)發(fā)和部署，預(yù)計(jì)HBM將繼續(xù)在高性能計(jì)算和AI應(yīng)用中發(fā)揮重要作用。