謝至恩Google 技術長暨 AI 基礎建設資深副總裁 Amin Vahdat，首度出訪亞洲，在台灣 SEMICON 2026 進行主題演講。他指出，面對運算需求 10 倍速成長，通用型 CPU 效能提升已無法滿足現代 AI 模型訓練與推論的龐大負擔，硬體加速器走向微特化已成為必然趨勢。 Google 自 10 餘年前即投入 TPU(Tensor Processing Unit, TPU) 研發，如今已演進至第 8 代晶片，並透過光學交換技術與全球資料中心網路，打造支援百萬顆晶片規模的運算基礎設施。
摩爾定律放緩推動專用晶片發展 TPU 十載演進累積百倍能效
隨著摩爾定律放緩與電力改善停滯，通用型 CPU 在效能上的指數型成長已遭遇物理瓶頸。 Amin Vahdat 說明，現代 AI 運算的本質在於巨量管線化矩陣代數運算與極高速資料搬移，傳統通用處理器難以兼顧運算效率與能耗。 Google 早在 Transformer 架構問世之前，便因應語言翻譯與語音辨識的大規模運算需求，自主研發第一代專用 TPU 。
經過世代演進，TPU 架構從早期推論加速逐步拓展至大規模分散式訓練，並陸續導入液冷散熱與光學電路交換等技術。相較於在通用 CPU 上執行同等運算任務，歷代 TPU 已累積超過 100 倍的效能、功耗與成本優勢；最新發表的第 8 代 TPU 更實現每瓦效能較前代提升 2 倍。
六大核心架構原則 軟硬體協同設計極大化矩陣運算效率
針對 TPU 的硬體微架構設計，Google 歸納出六項核心原則。首先是以早期 TPU 架構為例，配備 256×256 大規模脈動陣列矩陣乘法單元 (Systolic Matrix-Multiply Unit, MMU)，確保運算單元高度聚焦於矩陣代數，並使資料在乘法器之間持續流動，大幅減少資料搬移帶來的功耗。其次，TPU 採用編譯器主導的記憶體控制機制，由編譯器依據數學運算邏輯精確調度資料傳輸時程與位置，免除傳統快取階層的延遲與不確定性。
在資料精度與實體互連方面，Google 與研究團隊協同設計低精度數值表示法，從標準 32 位元 (32-bit) 逐步下探至客製化 4 位元 (4-bit) 格式，在維持模型精度的前提下減少資料量；系統層面則深度整合光學電路交換器與先進液冷基礎設施，確保高密度運算下的穩定性與散熱表現。 Amin Vahdat 強調，這些架構創新的落實，仰賴與硬體生態系夥伴在精密工程與製造上的緊密協作。
OCS 光學交換與全球網路 突破單機架邁向百萬晶片叢集
為了突破單一機架的算力限制，Google 將創新延伸至晶片間與資料中心網路。在大型訓練叢集 Superpod 中，144 座機架透過光纖連接至中央光學電路交換器 (Optical Circuit Switch, OCS) 。 OCS 內部配置約 256 個可三維轉動的微型反射鏡，直接透過光路切換重構拓樸，完全不需經過光電轉換 (Optical-Electrical-Optical, OEO) 或封包處理，耗電量極低且能在硬體異常時於數秒內完成拓樸重組。
在叢集拓樸上，最新架構採用三維環狀 (3D Torus) 與優化通訊拓樸，大幅降低集體通訊延遲，支援多達 9600 顆 TPU 以近奈秒級同步協同運作。向上延伸則整合 Google 最新一代頻寬達 47Pbps 的 Virgo 資料中心網路與跨國海底電纜系統，實現單一任務跨資料中心調度 100 萬顆 TPU 協同訓練的超大規模運算能力。
從算力轉向「每瓦交付價值」 因應代理式運算暴增需求
在電力逐漸成為資料中心首要限制條件的背景下，Google 將基礎設施最佳化指標由傳統的擁有總成本 (Total Cost of Ownership, TCO) 轉向「每瓦交付價值 (Delivered Value per Watt)」。目前 Google 資料中心能源使用效率 (Power Usage Effectiveness, PUE) 達 1.09，能源損耗僅 9%，較業界平均水準優異 83%；在軟體演算法與模型架構持續最佳化下，單次推論的能耗與碳排放亦大幅降低。
展望未來，隨著運算模式由人類與電腦的循序交談轉向程式自主呼叫模型的代理式運算 (Agentic Computing)，算力需求將迎來爆發性成長。 Google 晶片研發週期已由過去的 2 年縮短至半年以內，未來將透過方波 (Square Wave) 式交付策略加速量產，並持續探索近記憶體運算、封裝整合光學技術，乃至太空軌道運算等新興方向，為次世代 AI 生態系奠定可持續發展的運算基礎。