Meta 將打造全球最快 AI 超級電腦將搭載 1.6 萬顆 Nvidia A100 GPU

Meta本周表示正在打造全世界最快AI超級電腦－AI Research SuperCluster (RSC)將搭載1.6萬顆Nvidia A100 GPU，預定2022年中完成。該公司目前已經利用這台電腦訓練大型電腦視覺及自然語言處理(NLP)模型。

Meta 本周表示正在打造全世界最快 AI 超級電腦－AI Research SuperCluster (RSC) 將搭載 1.6 萬顆 Nvidia A100 GPU，預定 2022 年中完成。該公司目前已經利用這台電腦訓練大型電腦視覺及自然語言處理 (NLP) 模型。

Meta 執行長 Mark Zuckerberg 表示，該公司正在推動的元宇宙 (metaverse) 需要極大運算效能，而 RSC 將可建立能學習數兆範例、理解數百種語言等內容的 AI 模型。

現有系統是 AI 研究實驗室 (FAIR) 2017 年建立，搭載 2.2 萬顆 Nvidia V100 GPU。

不同於 Meta 現有 AI 超級電腦，RSC 可以利用該公司臉書社交平台上真實資料來訓練機器學習模型。而和前代相比，RSC 提供了超過 3 倍的大型 NLP workflow 效能，而硬體容量卻僅不到一半。

RSC 建造分兩個階段，目前已完成第一階段。第一階段由 760 座 Nvidia DGX A100 系統組成，包含 6,080 顆 GPU，各系統由 Nvidia Quantum 200Gb/s InfiniBand 網路。

儲存系統則包含 175 PB 的 Pure Storage FlashArray、46 PB 的 Penguin Altus 快取儲存與 10 PB Pure Storage FlashBlade。訓練資料將來自 FAIR 專用儲存服務 AI Research Store (AIRStore)。

等今年年中 RSC 完成時，同一座網路將連結 1.6 萬顆 GPU，使其成為最大的 DGX A100 環境。屆時它的快取及儲存系統將具備 16TB/s 頻寬，預計提供將近 5 exaflops 的混合精度運算效能。

Meta 技術經理 Kevin Lee 與 Shubho Shengupta 指出希望該系統能利用 1 Exabyte 的資料集訓練超越 1 兆個參數的模型，這批資料等同於 3.6 萬年高畫質影像的資料。

另一個不同的是，前一代系統只使用開原碼軟體及公開資料，而 RSC 將使用臉書上的真實用戶資料來訓練。為此 Meta 以隱私和安全為上從頭設計 RSC，和網際網路切開，沒有直接對內或對外連線，所有流量都僅來自 Meta 資料中心。用戶資料經過匿名化處理，所有從儲存到 GPU 的資料路徑都會加密。

他們表示希望 RSC 能幫助他們建立全新的 AI 系統，以處理多種族群、多種語言的即時語音翻譯，使其能在執行研究專案或玩 AR 遊戲時無礙協同及溝通，透過 AI 應用及產品，最終為建立次世代運算平台—元宇宙– 奠定基礎。