吳明宜NVIDIA 本周在 COMPUTEX 2024 前夕公佈多項 AI 產品及技術，展示該公司在消費運算、企業 IT 、加速運算、網路及製造業數位化領域的創新。
本周 NVIDIA 執行長黃仁勳在臺大發表演說的同時，公司發佈包括從 AI 筆電到 Blackwell 平台、 Spectrum-X Ethernet 網路等平台，以及聊天機器人等 AI 技術。
本文目錄
加速運算：Blackwell 平台和 AI 工廠
生成式 AI 推動資料中心從成本中心變成 AI 工廠，這過程中，資料集利用加速器開發 AI 模型及處理大量資料集。 NVIDIA 今年稍早公佈的 Blackwell 平台進一步推升將 AI 效能推升到比 8 年前推出的 Pascal 平台提升 1000 倍。
但除了晶片層外，NVIDIA 還公佈 MGX 平台，為加速運算提升模組化參考設計，以實現多種場景，像是虛擬化和邊緣超級電腦。 MGX 支援多代硬體，確保和 Blackwell 等前後架構的相容性。 NVIDIA 宣稱目前合作的 OEM/ODM 已有 25 家。
此外，NVIDIA 還公佈 GB200 NVL2 平台，旨在為資料中心賦予生成式 AI 能力。該平台可單一節點提供 40petaflops AI 效能、 144 Neoverse CPU 核心和 1.3 terabytes 高速記憶體，可大幅加快 LLM 和資料處理速度，而和傳統 CPU 系統相較，GB200 NVL2 的資料處理和向量式資料庫搜尋查詢任務效能都提升了 18 和 9 倍。
網路：Spectrum-X Ethernet for AI
Spectrum-X 是專為 AI 工廠打造的乙太網路技術。 NVIDIA 指出，傳統乙太網路是為超規模 (Hypersacle) 雲端資料中心所打造，但在 AI 執行已不敷所需，因為其伺服器對伺服器的通訊頻寬很小，且是為集中式運算設計。相較之下，AI 工廠需要支援分散式運算。
Spectrum-X 可使網路卡 (NIC) 和交換器支援 GPU 對 GPU 連線，大幅提升連線頻寬及負載平衡能力，使遙感資料 (telemetry) 速度提升上千倍，進而支援即時 AI 最佳化。 NVIDIA 並宣佈 Spectrum-X 已經投產，有許多客戶已經其部署到 AI 工廠或生成式 AI 雲端環境中。而合作夥伴已將超級網卡 BlueField-3 SuperNIC 整合到其系統中，並在參考架構使用 Spectrum-X 。 NVIDIA 計畫在 COMPUTEX 中展示多種產業的 Spectrum-X 應用場景。
消費性 AI 及 AI PC 技術
在消費性 PC 方面，NVIDIA 展示了由華碩、微星等夥伴生產的 GeForce RTX AI 筆電，這些筆電主打進階硬體規格，NVIDIA AI 函式庫與 SDK，及微軟 Copilot AI 助理功能、和多項應用程式及遊戲。這些 AI PC 可執行 AI 推論、訓練、 3D 展圖和影像處理，號稱跑 Stable Diffusion 速度比 Mac 電腦快 7 倍。新的 RTX AI Toolkit 則提供 Windows AI 應用的調校、最佳化和部署。 NVIDIA 並公佈了自有 AI 助理 Project G-Assist 及開發工具，G-Assist 可供玩家在玩 Game 時協助查詢、回應問題或調整系統設定。 NVIDIA 也和微軟合作新開發工具，預計下半年提供測試，可協助開發原生 Windows 和 Web AI 應用，開發商們可利用 API，從 Windows Copilot 存取 GPU 加速的小語言模型 (SLM) 和擷取增強生成 (RAG) 功能，應用情境包括摘取重點、生成內容、任務自動化等。
企業運算：NIM AI 推論服務
NVIDIA NIM 是一組執行生成式 AI 模型，尤其是推論任務的微服務。開發人員可從 NVIDIA 入口網站或熱門模型庫中，以標準 Docker 容器存取 NIM 。 NIM 也和不同工具和開發框架整合。目前 NIM 開放現有合作的開發商或企業開發人員測試，但很快地可經由開發者方案，免費提供研究和測試目的的用途。
產業數位化：Omniverse 、機器人
NVIDIA 提供生成式 AI 和數位孿生技術協助製造業數位轉型。過去十年，NVIDIA 的 Omniverse 平台整合製造業方案業者如西門子 (Siemens) 和 Rockwell 等產品，提供 3D 設計、 AI 訓練或工程模擬解決方案。
本周 NVIDIA 提出三電腦 AI 與機器人解決方案，一台超級電腦在資料中心建立模型、一台 runtime 支援機器人即時感測訊號處理，以及一台 Omniverse 執行數位孿生模擬。 NVIDIA 說，這配置可支援 AI 與機器人系統廣泛的虛擬測試和最佳化。
在 COMPUTEX 上，NVIDIA 也展示了台灣製造業大廠如鴻海、台達電、和願、緯創等如何使用其 AI 及 Omniverse 推動工廠數位化，以及西門子、 Intrinsic 及 Vention 等怎麼利用其 Isaac 平台打造機器人。