Nvidia 執行長黃仁勳本周接受媒體專訪時表示,該公司 AI 晶片運算速度成長已經超越資訊產業奉為圭臬數十年的摩爾定律。
黃仁勳接受 Techcrunch 專訪時提到,10 年來,該公司 AI 晶片推論效能已成長了 1000 倍。他也認為,AI 成長速度並未如外界認為減緩。
摩爾定律是由英特爾創辦人 Gordon Moore 在 1965 年首先提出對晶片製造的觀察預測。該定律是指積體電路的電晶體元件每 18 到 24 個月會成長一倍。不過隨著半導體技術接近物理極限,它的適用性面臨挑戰,電晶體翻倍的難度及成本愈來愈高,且需求的多樣化(如人工智慧與量子運算)使得單純追求電晶體密度增長不再是唯一重點。但摩爾定律仍然具有一定參考價值。
但黃仁勳說,Nvidia AI 晶片是超摩爾定律 (Hyper Moore’s Law),因為他們自建架構、晶片、函式庫和演算法,就能超越摩爾定律。
Nividia 的 H100 是現今訓練 AI 模型和執行 AI 推論最受歡迎的平台,但這位 Nvidia 執行長周二在 CES 大會演說時端出最新的 GB200 NVL72,AI 推論速度是 H100 的 30 到 40 倍。
近年來 AI 開發商如 OpenAI 、 Google 、 Anthropic 等已不再追求模型參數加大,將重點轉向 AI 推論能力,例如 OpenAI 的 o3 模型講求思考能力,這讓外界質疑 Nividia 是否還能獲得青睞。
黃仁勳表示,AI 模型效能推升有 3 個擴展法則,分別是預先訓練(pre-training,以大量資料讓 AI 模型學習)、後續訓練(post-training,微調),以及測試時運算(test-time compute,推論期間,讓 AI 模型在回答前有更多時間思考)。
摩爾定律藉由推升運算速度降低運算成本,黃仁勳認為,AI 也是一樣,效能愈來愈快,意味著像 OpenAI 的 o3 這樣的 AI 推論模型(在推論階段使用大量計算)將隨著時間的推移而變得更便宜。他說,10 年來,Nvidia 晶片速度是 10 年前的 1000 倍。
但是黃仁勳還是強調,Nvidia 的競爭優勢不僅在於硬體,還包括其完整的生態系統。該公司還包括軟硬體整合平台;NVIDIA 提供從 GPU 硬體到 CUDA 平行運算平台,再到軟體框架(如 TensorRT)的一體化解決方案,確保效能和效率的最優化。此外,Nvidia 強調有龐大的開發者社群和豐富的軟體工具生態圈,使得研究機構和企業不會想轉向其他平台。
來源:Techcrunch
