事實上，當涉及到人工智能的內(nèi)存時，會有很多對于內(nèi)存的新需求，特別是：

　　更大的容量 – 模型尺寸巨大且增長迅速，可能達到數(shù)十個TB。這種規(guī)模的數(shù)據(jù)需要越來越多的 DDR 主存容量。

　　更多帶寬 – 隨著需要移動大量數(shù)據(jù)，我們目睹了所有 DRAM 類型繼續(xù)競相提高數(shù)據(jù)速率以提供更多內(nèi)存帶寬。

　　更低的延遲 – 對速度的需求的另一個方面是更低的延遲，以使得處理器內(nèi)核不會為了等待數(shù)據(jù)而閑置。

　　更低的功耗 – 我們正在挑戰(zhàn)物理學的極限，而功耗已成為人工智能系統(tǒng)中的一個重要限制因素。對更高數(shù)據(jù)速率的需求也正在推高功耗。為了緩解這種情況，IO電壓正在降低，但這降低了電壓裕量并增加了出錯的機會，這使我們也需要更高的可靠性。

　　更高的可靠性 – 為了解決在更高速度、更低電壓和更小的工藝下不斷增加的錯誤率，我們看到越來越多地使用片上 ECC 和先進的信號技術(shù)進行補償。

　　另一個重要話題是人工智能中新內(nèi)存技術(shù)的挑戰(zhàn)和機遇。新技術(shù)具有許多潛在優(yōu)勢，包括：

　　針對一組重點用例優(yōu)化容量、帶寬、延遲和功耗。人工智能是一個龐大而重要的市場，背后有大量的資金，這是一個偉大的組合，可以推動新內(nèi)存技術(shù)的發(fā)展。過去，GDDR(為圖形市場開發(fā))、LPDDR(為移動市場開發(fā))和 HBM(為 AI 等高帶寬應用開發(fā))是為了滿足現(xiàn)有內(nèi)存無法滿足的用例的需求而創(chuàng)建的。

　　CXL– CXL 提供了大幅擴展內(nèi)存容量和提高帶寬的機會，同時還從處理器中抽象出內(nèi)存類型。通過這種方式，CXL 為整合新的內(nèi)存技術(shù)提供了一個很好的接口。CXL 內(nèi)存控制器提供處理器和內(nèi)存之間的轉(zhuǎn)換層，允許在本地連接的內(nèi)存之后插入新的內(nèi)存層。

　　雖然針對特定用例的新內(nèi)存類型對許多應用程序都有好處，但它們面臨著額外的挑戰(zhàn)：

　　在可預見的未來，DRAM、片上SRAM和閃存將繼續(xù)存在，所以不要指望任何東西可以完全取代這些技術(shù)。每年對這些技術(shù)的研發(fā)和資本支出投資，加上數(shù)十年的高產(chǎn)制造經(jīng)驗，使得在短期內(nèi)基本上不可能取代任何這些技術(shù)。任何新的內(nèi)存技術(shù)都必須與這些內(nèi)存很好地協(xié)同工作才能被采用。

　　人工智能部署的規(guī)模和與開發(fā)新內(nèi)存技術(shù)相關的風險使得采用全新的內(nèi)存變得困難。內(nèi)存開發(fā)的時間表通常為 2-3 年，但 AI 的發(fā)展速度如此之快，以至于很難預測未來可能需要的特定功能。風險很高，依賴新技術(shù)被啟用和可用的風險也很高。

　　任何新技術(shù)的性能優(yōu)勢都必須足夠高，以抵消任何額外的成本和風險�？紤]到對基礎架構(gòu)工程和部署團隊的需求，這意味著新的內(nèi)存技術(shù)需要克服一個非常高的障礙。

　　內(nèi)存將繼續(xù)成為未來人工智能系統(tǒng)的關鍵推動因素。我們的行業(yè)必須繼續(xù)為未來的系統(tǒng)進行創(chuàng)新，以提供更快、更有意義的人工智能，而行業(yè)正在做出回應。