日前,硅谷芯片技術(shù)研討會(huì)HOT CHIPS上,特斯拉硬件工程師Emil Talpes公開(kāi)了特斯拉Dojo超算指令集結(jié)構(gòu)細(xì)節(jié),并展示了Dojo的數(shù)據(jù)格式、系統(tǒng)網(wǎng)絡(luò)、軟件系統(tǒng)繞行死節(jié)點(diǎn)能力等。
所謂 Dojo,是特斯拉自研的超級(jí)計(jì)算機(jī),可利用海量視頻數(shù)據(jù),完成“無(wú)人監(jiān)管”的標(biāo)注和訓(xùn)練。
在去年的AI Day上,特斯拉就已發(fā)布Dojo超級(jí)計(jì)算機(jī),但當(dāng)時(shí)其“羽翼未豐”,尚只有第一個(gè)芯片及訓(xùn)練塊,公司仍在推動(dòng)構(gòu)建完整的Dojo Exapod。
而特斯拉也表示,理論上,Dojo ExaPod將是世界上最快的AI訓(xùn)練超級(jí)計(jì)算機(jī)。
如今,Dojo Exapod也終于揭開(kāi)面紗——從本次研討會(huì)上Talpes的展示來(lái)看,每個(gè)Dojo ExaPod集成120個(gè)訓(xùn)練模塊,內(nèi)置3000個(gè)D1芯片,擁有超過(guò)100萬(wàn)個(gè)訓(xùn)練節(jié)點(diǎn),算力達(dá)到1.1EFLOP*(每秒千萬(wàn)億次浮點(diǎn)運(yùn)算)。
微架構(gòu)方面,每個(gè)Dojo節(jié)點(diǎn)都有一個(gè)內(nèi)核,是一臺(tái)具有CPU專(zhuān)用內(nèi)存和I/O接口的成熟計(jì)算機(jī)。
Dojo Exapod的核心,便是特斯拉自研的D1芯片。該芯片由臺(tái)積電制造,采用7nm工藝,擁有500億個(gè)晶體管,芯片面積為645mm2,小于英偉達(dá)的A100(826 mm2)和AMD Arcturus(750 mm2)。
值得注意的是,有望在下個(gè)月現(xiàn)身的特斯拉人形機(jī)器人“擎天柱”大腦所使用的,便是Dojo D1超級(jí)計(jì)算芯片,每個(gè)D1芯片之間無(wú)縫連接,相鄰芯片之間的延遲極低,訓(xùn)練模塊最大程度上實(shí)現(xiàn)了帶寬的保留。
特斯拉之前已透露,Tesla Bot“擎天柱”頭部將配備與自家汽車(chē)相同的智能駕駛攝像頭,并與汽車(chē)共用AI系統(tǒng)——換言之,特斯拉人形機(jī)器人延續(xù)了以視覺(jué)為主的傳感技術(shù)路線。
得益于龐大數(shù)據(jù)庫(kù)的支撐、AI預(yù)測(cè)能力與算法,特斯拉認(rèn)為,純視覺(jué)方案也能較好地彌補(bǔ)深度傳感器缺失所帶來(lái)的不足。目前,其基于視覺(jué)的神經(jīng)網(wǎng)絡(luò)技術(shù)已在汽車(chē)FSD上獲得實(shí)戰(zhàn)驗(yàn)證,華安證券27日?qǐng)?bào)告指出,該技術(shù)有望借助Dojo超算加速訓(xùn)練升級(jí)。