在遲遲不能走出困境的半導(dǎo)體存儲(chǔ)器行業(yè)，新一代DRAM技術(shù)正備受關(guān)注。那就是通過層疊具有代表性的存儲(chǔ)器的DRAM芯片來實(shí)現(xiàn)高速大容量數(shù)據(jù)處理的“HBM（高帶寬存儲(chǔ)器）”。隨著人工智能（AI）的普及，需求出現(xiàn)猛增。作為擺脫存儲(chǔ)器不景氣的“救世主”，業(yè)界對(duì)HBM的期待正在升溫。

HBM是韓國(guó)SK海力士于2013年開發(fā)的新型存儲(chǔ)結(jié)構(gòu)。這是一種通過層疊多個(gè)DRAM芯片來提高數(shù)據(jù)處理速度的技術(shù)。目前受到關(guān)注的AI需要處理大容量數(shù)據(jù)，而HBM作為最用于AI的臨時(shí)存儲(chǔ)器已開始被采用。

用于長(zhǎng)期保存數(shù)據(jù)的NAND型閃存的層疊技術(shù)是在電路形成工序的“前工序”中層疊存儲(chǔ)元件。而HBM是在作為組裝工序的“后工序”中層疊DRAM芯片，利用電子電路將多個(gè)半導(dǎo)體芯片連接起來。

據(jù)稱，通過這種方法，能夠以三維結(jié)構(gòu)在半導(dǎo)體封裝內(nèi)布滿電子電路，使數(shù)據(jù)處理速度提高到普通DRAM的10倍以上。SK海力士的第5代產(chǎn)品“HBM3e”（預(yù)定2024年啟動(dòng)量產(chǎn)）的數(shù)據(jù)處理速度可達(dá)到每秒1.15TB （太字節(jié)）。


HBM3e技術(shù)即將實(shí)現(xiàn)量產(chǎn)

近日，NVIDIA又發(fā)布了全新的HGX H200加速器，可處理AIGC、HPC工作負(fù)載的海量數(shù)據(jù)。

NVIDIA H200的一大特點(diǎn)就是首發(fā)新一代HBM3e高帶寬內(nèi)存(疑似來自SK海力士)，單顆容量就多達(dá)141GB(原始容量144GB但為提高良率屏蔽了一點(diǎn)點(diǎn))，同時(shí)帶寬多達(dá)4.8TB/s。對(duì)比H100，容量增加了76％，帶寬增加了43％，而對(duì)比上代A100，更是容量幾乎翻番，帶寬增加2.4倍。

得益于NVLink、NVSwitch高速互連技術(shù)，H200還可以四路、八路并聯(lián)，因此單系統(tǒng)的HBM3e內(nèi)存容量能做到最多1128GB，也就是1.1TB。只是相比于AMD Instinct MI300X還差點(diǎn)意思，后者搭載了192GB HBM3，帶寬高達(dá)5.2TB/s。

性能方面，H200再一次實(shí)現(xiàn)了飛躍，700億參數(shù)的Llama2大語言模型推理性能比H100提高了多達(dá)90％，1750億參數(shù)的GTP-3模型推理性能也提高了60％，而對(duì)比前代A100 HPC模擬性能直接翻番。

八路H200系統(tǒng)下，F(xiàn)P8深度學(xué)習(xí)計(jì)算性能可以超過32PFlops，也就是每秒3.2億億次浮點(diǎn)計(jì)算，堪比一臺(tái)大型超級(jí)計(jì)算機(jī)。


GPU推動(dòng)HBM技術(shù)擴(kuò)容和加速

英偉達(dá)的這次創(chuàng)新推出，標(biāo)志著HBM技術(shù)在GPU領(lǐng)域的應(yīng)用取得了重要的突破。全球HBM市場(chǎng)在近年來一直處于快速增長(zhǎng)的狀態(tài)，而這次英偉達(dá)推出的GPU，將進(jìn)一步推動(dòng)HBM市場(chǎng)的擴(kuò)容。

在市場(chǎng)上，預(yù)計(jì)今年HBM的出貨量將達(dá)到50萬顆，而在未來，這一數(shù)字將逐年遞增。據(jù)預(yù)測(cè)，到2030年，HBM的年出貨量將達(dá)到1億顆。這表明，隨著技術(shù)的不斷進(jìn)步和應(yīng)用領(lǐng)域的不斷拓展，HBM技術(shù)在未來的發(fā)展前景十分廣闊。

然而，盡管市場(chǎng)對(duì)HBM的需求在不斷增長(zhǎng)，但目前三星和美光最新的HBM產(chǎn)品還處于籌備階段，預(yù)計(jì)要到24年第四季度才能開始批量生產(chǎn)。這意味著，在24年，HBM3e的供給將面臨嚴(yán)重的緊缺情況。這種短缺可能會(huì)進(jìn)一步推動(dòng)HBM價(jià)格的上漲，從而對(duì)整個(gè)行業(yè)產(chǎn)生深遠(yuǎn)的影響。

同時(shí)，隨著服務(wù)器新世代CPU的推出和人工智能需求的不斷增加，市場(chǎng)對(duì)HBM高性能產(chǎn)品及高密度模組的需求也在不斷提升。這為HBM技術(shù)的發(fā)展提供了更多的機(jī)會(huì)和挑戰(zhàn)。

據(jù)了解，搭載HBM3e的第二代GH200將于24年第二季度開始出貨。這一新型GPU的推出，將進(jìn)一步推動(dòng)HBM技術(shù)的應(yīng)用和發(fā)展。同時(shí)，高速傳輸數(shù)據(jù)的HBM內(nèi)存芯片已經(jīng)成為人工智能的必要配置，這使得人工智能領(lǐng)域?qū)BM的需求也在不斷增長(zhǎng)。

當(dāng)前，HBM市場(chǎng)還處于初期發(fā)展階段。然而，據(jù)預(yù)測(cè)，到2025年，HBM市場(chǎng)規(guī)模有望年均增長(zhǎng)45%以上。這一趨勢(shì)預(yù)示著HBM技術(shù)在未來的發(fā)展?jié)摿薮蟆?/span>

回顧今年，我們可以看到HBM的需求量受到了高階GPU提升的帶動(dòng)而大幅增長(zhǎng)了58%。與此同時(shí)，HBM3存儲(chǔ)器的價(jià)格已經(jīng)上漲了5倍。這種價(jià)格上漲的趨勢(shì)表明，HBM技術(shù)在市場(chǎng)上的價(jià)值正在得到越來越高的認(rèn)可和重視。