英國《自然》雜志網(wǎng)站在近日的報道中指出,工程師正競相開發(fā)包括圖形處理單元(GPU)等在內(nèi)的尖端芯片,以滿足未來AI的計算需求。
GPU加快機(jī)器學(xué)習(xí)運算速度
GPU是英偉達(dá)公司標(biāo)志性的計算機(jī)芯片。傳統(tǒng)中央處理單元(CPU)按順序處理指令,而GPU可并行處理更多指令,因此可分布式訓(xùn)練程序,從而大大加快機(jī)器學(xué)習(xí)的運算速度。
2022年,英偉達(dá)公司Hopper超級芯片在MLPerf上擊敗了包括圖像分類和語音識別在內(nèi)所有類別的競爭對手。MLPerf是國際上最權(quán)威、最有影響力的AI基準(zhǔn)測試之一,被譽(yù)為“AI界奧運會”。
今年3月,英偉達(dá)正式展示了性能更優(yōu)異的新一代AI芯片Blackwell。它擁有2080億個晶體管,是英偉達(dá)首個采用多芯片封裝設(shè)計的GPU。隨著技術(shù)發(fā)展,GPU變得越來越大,如果不能更大,就把更多GPU組合在一起,變成更大的虛擬GPU。Blackwell就是在同一個芯片上集成了兩個GPU,新架構(gòu)將通過芯片與芯片間的連接技術(shù),一步步構(gòu)建出更大型AI超算集群。
如果要訓(xùn)練一個擁有1.8萬億個參數(shù)的GPT模型,需要8000塊Hopper芯片,耗能15兆瓦,歷時3個月。如果使用Blackwell芯片,只需2000塊,耗能4兆瓦,就能在同樣的時間內(nèi)完成任務(wù)。
AI芯片市場持續(xù)增長,英偉達(dá)目前供應(yīng)了其中80%以上的產(chǎn)品。2023年,該公司售出55萬塊Hopper芯片。近日,該公司市值首次突破3萬億美元,超越蘋果,僅次于微軟,成為全球市值第二高的公司。
多種芯片競相涌現(xiàn)
盡管GPU一直是AI革命的核心,但它們并非是唯一“主角”。隨著AI應(yīng)用的激增,AI芯片的種類也在激增,現(xiàn)場可編程門陣列(FPGA)可謂“一枝獨秀”。
FPGA是一種在計算和數(shù)字電路領(lǐng)域廣泛應(yīng)用的硬件設(shè)備。它以獨特的可編程性和靈活性,成為嵌入式系統(tǒng)、高性能計算處理等多種應(yīng)用的理想選擇。
這就像搭建樂高積木,工程師可將FPGA電路一個接一個地構(gòu)建到他們能想象的任何設(shè)計中,無論是洗衣機(jī)傳感器還是用于引導(dǎo)自動駕駛汽車的AI。不過,與擁有不可調(diào)節(jié)電路的AI芯片(如GPU)相比,F(xiàn)PGA運行速度相對更慢、效率更低。但FPGA對處理某些任務(wù)(如粒子對撞機(jī)產(chǎn)生的數(shù)據(jù))很有用。英偉達(dá)加速計算集團(tuán)產(chǎn)品營銷總監(jiān)戴維·薩爾瓦托指出,F(xiàn)PGA的易編程性也對原型設(shè)計很有幫助。
張量處理單元(TPU)則是谷歌公司專為神經(jīng)網(wǎng)絡(luò)機(jī)器學(xué)習(xí)而定制的芯片,旨在執(zhí)行矩陣計算和張量操作。TPU作為谷歌深度學(xué)習(xí)框架TensorFlow的加速器于2016年首次推出,其設(shè)計目標(biāo)是提供低功耗、高效能的矩陣運算,以滿足大規(guī)模機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)訓(xùn)練的需求。TPU在性能與能效之間取得了良好平衡。它們的功耗相對較低,這對于大規(guī)模數(shù)據(jù)中心和在移動設(shè)備上的應(yīng)用至關(guān)重要。
此外,元宇宙平臺也在獨立開發(fā)自己的芯片。谷歌、英特爾和高通成立了UXL基金會,用以開發(fā)一套支持多種AI加速器芯片的軟件和工具,以此對抗英偉達(dá)的GPU。
當(dāng)然,GPU等AI芯片的興起并不意味著傳統(tǒng)CPU的終結(jié),兩者互相取長補(bǔ)短已成大勢所趨。例如,有一個版本的Blackwell芯片就讓GPU與CPU攜手;世界上最強(qiáng)大的超級計算機(jī)之一、位于美國田納西州橡樹嶺國家實驗室的“前沿”也依賴CPU和GPU的結(jié)合,來執(zhí)行高性能計算。
考慮到過去十年芯片領(lǐng)域翻天覆地的變化,工程師們可能很難預(yù)測芯片的未來。將來可能會研制出使用光而非電子的光學(xué)芯片,或量子計算芯片,而進(jìn)一步提升芯片性能,將加速AI在科學(xué)領(lǐng)域的應(yīng)用。