時間:2024-03-04 16:43:31來源:數(shù)字芯片實驗室
事實上,當涉及到人工智能的內(nèi)存時,會有很多對于內(nèi)存的新需求,特別是:
更大的容量 – 模型尺寸巨大且增長迅速,可能達到數(shù)十個TB。這種規(guī)模的數(shù)據(jù)需要越來越多的 DDR 主存容量。
更多帶寬 – 隨著需要移動大量數(shù)據(jù),我們目睹了所有 DRAM 類型繼續(xù)競相提高數(shù)據(jù)速率以提供更多內(nèi)存帶寬。
更低的延遲 – 對速度的需求的另一個方面是更低的延遲,以使得處理器內(nèi)核不會為了等待數(shù)據(jù)而閑置。
更低的功耗 – 我們正在挑戰(zhàn)物理學的極限,而功耗已成為人工智能系統(tǒng)中的一個重要限制因素。對更高數(shù)據(jù)速率的需求也正在推高功耗。為了緩解這種情況,IO電壓正在降低,但這降低了電壓裕量并增加了出錯的機會,這使我們也需要更高的可靠性。
更高的可靠性 – 為了解決在更高速度、更低電壓和更小的工藝下不斷增加的錯誤率,我們看到越來越多地使用片上 ECC 和先進的信號技術(shù)進行補償。
另一個重要話題是人工智能中新內(nèi)存技術(shù)的挑戰(zhàn)和機遇。新技術(shù)具有許多潛在優(yōu)勢,包括:
針對一組重點用例優(yōu)化容量、帶寬、延遲和功耗。人工智能是一個龐大而重要的市場,背后有大量的資金,這是一個偉大的組合,可以推動新內(nèi)存技術(shù)的發(fā)展。過去,GDDR(為圖形市場開發(fā))、LPDDR(為移動市場開發(fā))和 HBM(為 AI 等高帶寬應用開發(fā))是為了滿足現(xiàn)有內(nèi)存無法滿足的用例的需求而創(chuàng)建的。
CXL– CXL 提供了大幅擴展內(nèi)存容量和提高帶寬的機會,同時還從處理器中抽象出內(nèi)存類型。通過這種方式,CXL 為整合新的內(nèi)存技術(shù)提供了一個很好的接口。CXL 內(nèi)存控制器提供處理器和內(nèi)存之間的轉(zhuǎn)換層,允許在本地連接的內(nèi)存之后插入新的內(nèi)存層。
雖然針對特定用例的新內(nèi)存類型對許多應用程序都有好處,但它們面臨著額外的挑戰(zhàn):
在可預見的未來,DRAM、片上SRAM和閃存將繼續(xù)存在,所以不要指望任何東西可以完全取代這些技術(shù)。每年對這些技術(shù)的研發(fā)和資本支出投資,加上數(shù)十年的高產(chǎn)制造經(jīng)驗,使得在短期內(nèi)基本上不可能取代任何這些技術(shù)。任何新的內(nèi)存技術(shù)都必須與這些內(nèi)存很好地協(xié)同工作才能被采用。
人工智能部署的規(guī)模和與開發(fā)新內(nèi)存技術(shù)相關的風險使得采用全新的內(nèi)存變得困難。內(nèi)存開發(fā)的時間表通常為 2-3 年,但 AI 的發(fā)展速度如此之快,以至于很難預測未來可能需要的特定功能。風險很高,依賴新技術(shù)被啟用和可用的風險也很高。
任何新技術(shù)的性能優(yōu)勢都必須足夠高,以抵消任何額外的成本和風險?紤]到對基礎架構(gòu)工程和部署團隊的需求,這意味著新的內(nèi)存技術(shù)需要克服一個非常高的障礙。
內(nèi)存將繼續(xù)成為未來人工智能系統(tǒng)的關鍵推動因素。我們的行業(yè)必須繼續(xù)為未來的系統(tǒng)進行創(chuàng)新,以提供更快、更有意義的人工智能,而行業(yè)正在做出回應。
上一篇:激光雷達傳感器的分類
中國傳動網(wǎng)版權(quán)與免責聲明:凡本網(wǎng)注明[來源:中國傳動網(wǎng)]的所有文字、圖片、音視和視頻文件,版權(quán)均為中國傳動網(wǎng)(m.u63ivq3.com)獨家所有。如需轉(zhuǎn)載請與0755-82949061聯(lián)系。任何媒體、網(wǎng)站或個人轉(zhuǎn)載使用時須注明來源“中國傳動網(wǎng)”,違反者本網(wǎng)將追究其法律責任。
本網(wǎng)轉(zhuǎn)載并注明其他來源的稿件,均來自互聯(lián)網(wǎng)或業(yè)內(nèi)投稿人士,版權(quán)屬于原版權(quán)人。轉(zhuǎn)載請保留稿件來源及作者,禁止擅自篡改,違者自負版權(quán)法律責任。