全球第五大超算!特斯拉:用它訓(xùn)練AI 將自動(dòng)駕駛成為可能
6月23日?qǐng)?bào)道,特斯拉近日推出了新的超級(jí)計(jì)算機(jī),并成功位列全球第五大超級(jí)計(jì)算機(jī),它也將是特斯拉即將推出的新超級(jí)計(jì)算機(jī)Dojo的“先行版本”。
據(jù)稱,這一超級(jí)計(jì)算機(jī)將被用于訓(xùn)練為特斯拉的自動(dòng)駕駛儀(Autopilot)和即將問(wèn)世的自動(dòng)駕駛?cè)斯ぶ悄埽ˋI)提供動(dòng)力的神經(jīng)網(wǎng)絡(luò)。
在過(guò)去的幾年里,特斯拉一直把研究重點(diǎn)放在汽車內(nèi)外的計(jì)算能力上。在內(nèi)部,需要足夠強(qiáng)大的計(jì)算機(jī)來(lái)運(yùn)行它的自動(dòng)駕駛軟件;在外部,則需要超級(jí)計(jì)算機(jī)來(lái)訓(xùn)練由神經(jīng)網(wǎng)絡(luò)支持的自動(dòng)駕駛軟件,這些神經(jīng)網(wǎng)絡(luò)會(huì)接收來(lái)自海量車輛的大量數(shù)據(jù)。
特斯拉在過(guò)去的幾年里一直在研究Dojo,該公司首席執(zhí)行官埃隆·馬斯克(Elon Musk)一直暗示它應(yīng)該在今年年底準(zhǔn)備好。據(jù)了解,Dojo項(xiàng)目由計(jì)算速度達(dá)每秒百萬(wàn)萬(wàn)億次(exaFLOP)的超級(jí)計(jì)算機(jī)組成,使其成為全球最強(qiáng)大的計(jì)算機(jī)之一。
日前,在2021年計(jì)算機(jī)視覺(jué)與模式識(shí)別大會(huì)上,特斯拉AI主管Andrej Karpath介紹了該公司的最新超級(jí)計(jì)算機(jī)。Karpathy展示了特斯拉的第三個(gè)超級(jí)計(jì)算機(jī)集群,特斯拉聲稱該新集群具有一些相當(dāng)瘋狂的參數(shù),應(yīng)該會(huì)使其成為全球第五的計(jì)算機(jī):
1.720個(gè)80GB 8x A100 節(jié)點(diǎn)(共5760 個(gè)GPU);
2.1.8 EFLOPS(720節(jié)點(diǎn)* 312 TFLOPS-FP16-A100 * 8 gpu/節(jié)點(diǎn));
3.10 PB“熱層”NVME存儲(chǔ)@ 1.6 TBps;
4.總交換容量為640 Tbps。
Karpathy對(duì)此評(píng)論稱,“我們有一個(gè)神經(jīng)網(wǎng)絡(luò)架構(gòu)網(wǎng)絡(luò)和一個(gè)1.5 pb的數(shù)據(jù)集,需要大量的計(jì)算。對(duì)我們來(lái)說(shuō),計(jì)算機(jī)視覺(jué)是使自動(dòng)駕駛成為可能的基本要素?!?/p>
“為了讓它更好地工作,我們需要掌握來(lái)自車隊(duì)的數(shù)據(jù),訓(xùn)練大量的神經(jīng)網(wǎng)絡(luò)并進(jìn)行大量實(shí)驗(yàn)。所以我們?cè)谟?jì)算上投入了很多。在本例中,我們展示的是使用720個(gè)80GB版本的8x A100節(jié)點(diǎn)構(gòu)建的集群。這是一個(gè)巨大的超級(jí)計(jì)算機(jī)。我實(shí)際上認(rèn)為,就每秒浮點(diǎn)運(yùn)算次數(shù)而言,它大概是世界上第5臺(tái)超級(jí)計(jì)算機(jī)?!彼a(bǔ)充道。
這位特斯拉工程師不愿詳細(xì)說(shuō)明Dojo項(xiàng)目,但他表示,Dojo將是一臺(tái)比特斯拉目前的集群更適合神經(jīng)網(wǎng)絡(luò)訓(xùn)練的超級(jí)計(jì)算機(jī)。馬斯克此前還表示,特斯拉計(jì)劃最終將其超級(jí)計(jì)算機(jī)提供給其他公司,以便它們?cè)谏厦嬗?xùn)練自己的神經(jīng)網(wǎng)絡(luò)。
