8 月 30 日消息，微軟公司出席 Hot Chip 2024 大會(huì)，分享了 Maia 100 芯片的規(guī)格信息。Maia 100 是臺(tái)積電 5nm 節(jié)點(diǎn)上制造的最大處理器之一，專(zhuān)門(mén)為部署在 Azure 中的大規(guī)模 AI 工作負(fù)載而設(shè)計(jì)。
Maia 100 芯片規(guī)格如下
· 芯片尺寸：820 平方毫米
· 封裝：采用 COWOS-S 夾層技術(shù)的 TSMC N5 工藝
· HBM BW/Cap;1.8TB/s @ 64GB HBM2E
· 峰值密集 Tensor POPS： 6bit: 3,9bit: 1.5, BF16: 0.8
· L1/L2：500MB
· 后端網(wǎng)絡(luò) BW：600GB/s(12X400gbe)
· 主機(jī) BW(PCIe)：32GB/s PCIe Gen5X8
· 設(shè)計(jì) TDP：700W
· Provision TDP：500W
Microsoft Maia 100 系統(tǒng)采用垂直集成方式，以優(yōu)化成本和性能。它還采用定制服務(wù)器板，配備專(zhuān)門(mén)設(shè)計(jì)的機(jī)架和軟件堆棧，以提高性能。
Maia 100 架構(gòu)
· 高速 Tensor 單元可為訓(xùn)練和推理提供高速處理，同時(shí)支持多種數(shù)據(jù)類(lèi)型，單元采用 16xRx16 結(jié)構(gòu)。
· 矢量處理器是一個(gè)松散耦合的超標(biāo)量引擎，采用定制指令集架構(gòu)(ISA)，支持包括 FP32 和 BF16 在內(nèi)的多種數(shù)據(jù)類(lèi)型。
· 直接內(nèi)存訪問(wèn)(DMA)引擎支持不同的張量分片方案。
· 硬件 semaphores 支持 Maia 系統(tǒng)的異步編程。
· 為提高數(shù)據(jù)利用率和能效，大型 L1 和 L2 scratch pads 交由軟件管理。
Maia 100 采用基于以太網(wǎng)的互聯(lián)技術(shù)和類(lèi)似 RoCE 的定制協(xié)議，可實(shí)現(xiàn)超高帶寬計(jì)算。它支持高達(dá) 4800 Gbps 的 all-gather 和 scatter-reduced 帶寬，以及 1200 Gbps 的 all-to-all 帶寬。
在軟件方面，Maia 軟件開(kāi)發(fā)工具包(SDK)允許任何人快速將其 PyTorch 和 Triton 模型移植到 Maia。Maia SDK 為開(kāi)發(fā)人員提供了多個(gè)組件，使他們能夠輕松地將模型部署到 Azure OpenAI 服務(wù)。
網(wǎng)站客服
粵公網(wǎng)安備 44030402000946號(hào)