NVIDIA H100從2022年9月量產(chǎn)投入市場(chǎng)，至今供不應(yīng)求

2023年科技產(chǎn)業(yè)備受關(guān)注的人物與企業(yè)，莫非NVIDIA與其執(zhí)行長(zhǎng)黃仁勳莫屬。2月間，黃仁勳宣稱“AI的iPhone時(shí)刻”已經(jīng)到來(lái)，半年之后，外界用連續(xù)2季的財(cái)報(bào)業(yè)績(jī)檢視NVIDIA，NVIDIA也在抱回外界難以想像的獲利。

NVIDIA公布的2024會(huì)計(jì)年度第2季（2QFY24）財(cái)報(bào)數(shù)據(jù)，揭示營(yíng)收年增101%、淨(jìng)利年增422%、毛利率高達(dá)71.2%的炸裂式業(yè)績(jī)，各項(xiàng)指標(biāo)均遠(yuǎn)超預(yù)期，而H100系列晶片在AI熱潮推動(dòng)的大型語(yǔ)言模型訓(xùn)練（LLM）市場(chǎng)中一卡難求。

AI算力需求呈現(xiàn)爆炸式成長(zhǎng)，對(duì)云端業(yè)者而言，只能不斷採(cǎi)購(gòu)AI伺服器；然對(duì)于LLM開發(fā)廠商來(lái)說(shuō)，NVIDIA的資料中心業(yè)務(wù)瘋狂吸金，而客戶卻還未實(shí)現(xiàn)獲利。眼前LLM大浪未至，錢卻都被NVIDIA賺走了。

在財(cái)報(bào)公布前，NVIDIA高階AI GPU不斷傳出漲價(jià)聲，Barrron's引述分析師報(bào)告，H100制造成本為3,320美元，而售價(jià)則高達(dá)2.5萬(wàn)~3萬(wàn)美元，利潤(rùn)接近成本的10倍；毛利率超過(guò)70%，對(duì)晶片產(chǎn)品而言，有些不可思議。

對(duì)此黃仁勳強(qiáng)調(diào)，NVIDIA提供的是軟體生態(tài)系統(tǒng)和硬體平臺(tái)，具備軟體生態(tài)架構(gòu)的靈活性、多功能性，再加上廣大的安裝基礎(chǔ)及涵蓋范圍，程式碼數(shù)量和應(yīng)用程式組合的類型相當(dāng)瘋狂，簡(jiǎn)單說(shuō)，賣的是“準(zhǔn)系統(tǒng)”而非“單一晶片”，但NVIDIA花了20年才走到這一步。

外界分析，NVIDIA構(gòu)建的CUDA軟體生態(tài)，不僅讓旗下GPU受青睞，也是客戶無(wú)法輕易轉(zhuǎn)向超微（AMD）等競(jìng)爭(zhēng)對(duì)手的主因。原因在于，AI算力的配置絕非簡(jiǎn)單的硬體堆疊，即便把重達(dá)30多公斤、多達(dá)3.5萬(wàn)個(gè)零件組成的NVIDIA HGX平臺(tái)層層堆起來(lái)，也堆不出LLM必須的AI算力。

要把1,000張加速卡、100臺(tái)AI伺服器放在一起，跑同一個(gè)LM訓(xùn)練或推論任務(wù)，還需要大量的配套軟體、通訊網(wǎng)路，還不包括客戶的大量數(shù)據(jù)。這是一系列軟硬體聯(lián)合調(diào)用的複雜過(guò)程，黃仁勳把H100這類AI GPU稱為“技術(shù)奇蹟”，并非沒(méi)有原因。

H100從2022年9月量產(chǎn)投入市場(chǎng)，至今供不應(yīng)求，甚至上一代的A100至今仍是搶手貨。NVIDIA聚焦于系統(tǒng)級(jí)伺服器產(chǎn)品，最新款DGX產(chǎn)品GH200集結(jié)256塊H100和Grace CPU，預(yù)料會(huì)在2023年下半量產(chǎn)后將躍居業(yè)績(jī)新推手。　

至于H100為何價(jià)格高昂？在硬體層面上，H100採(cǎi)用了四大先進(jìn)技術(shù)。第一是臺(tái)積電4奈米制程（N4），要讓這一顆長(zhǎng)26.8公分、寬11.1公分、含有800億個(gè)電晶體的H100發(fā)揮前所未有的效能，舉世當(dāng)今非臺(tái)積電代工莫屬。

第二是連接技術(shù)，每張H100包含3個(gè)NVLink連接，這是NVIDIA獨(dú)家的資料傳輸技術(shù)，第四代NVlink可提供每秒900GB的GPU對(duì)GPU互連頻寬，以便將更多H100互連使用，獲得倍增的效能。

第三是80GB的HBM2e高頻寬記憶體，目前僅SK海力士（SK Hynix）、三星電子（Samsung Electroics）可供應(yīng)，值得注意的是，NVIDIA剛剛宣布將最新的HBM3e植入最新GH200，是全球第一個(gè)支援HBM3e的GPU產(chǎn)品。

第四是臺(tái)積電的CoWoS封裝技術(shù)，臺(tái)積電正積極擴(kuò)建CoWoS產(chǎn)能，但供不應(yīng)求情況恐將持續(xù)到2024年。

這四大技術(shù)每一項(xiàng)均屬尖端領(lǐng)域，付出代價(jià)所費(fèi)不貲，如果說(shuō)LLM推動(dòng)AI GPU加速運(yùn)算時(shí)代來(lái)臨，但讓NVIDIA站在當(dāng)前科技舞臺(tái)上獨(dú)舞的關(guān)鍵，卻是黃仁勳領(lǐng)導(dǎo)團(tuán)隊(duì)的長(zhǎng)期押注與心血累積。