F5:AI 推論成企業核心營運 GPU 感知負載平衡成關鍵

F5指出AI推論進入企業核心營運,交付、安全與治理成為新挑戰。

F5 發布年度《應用策略現況報告》(State of Application Strategy, SOAS),指出 AI 已跨越實驗階段,正式進入企業營運核心。隨著 78% 企業已自行執行 AI 推論,企業平均使用超過 7 個模型,AI 基礎架構的挑戰也從「如何建置模型」轉向「如何可靠、安全且可規模化地交付推論服務」。

F5 資深產品長 Kunal Anand 表示,現在的問題已不再是企業會不會使用 AI,而是能否以可靠、安全且具規模化的方式運作 AI 。他指出,AI 推論正逐漸成為企業核心業務的一部分,代表 AI 交付已成為流量管理挑戰,AI 安全也演變為治理與控管問題。

F5 台灣區總經理林志方

AI 推論成為正式工作負載,混合多雲走向預設架構

企業 AI 重心已從模型訓練轉向推論,推論不再只是旁支實驗,而是正式成為應用交付的一部分。 F5《2026 應用策略現況報告》顯示,93% 企業已採用混合多雲環境,86% 企業將應用部署於混合多雲架構中,企業平均在 19 個地點運行混合多雲。

F5 台灣區資深技術總監陳廣融指出,企業 AI 架構正逐漸走向 Hybrid by default,多數企業會結合公有 AI 服務、私有雲、地端或 co-location 機房環境,以管理資料治理、延遲、法遵與成本。他表示,台灣企業過去對雲端服務相對保守,但在 AI 服務取用需求推動下,混合部署將逐漸成為更明確的方向。

F5 台灣區總經理林志方也指出,過去企業採用混合雲或多雲,主要考量彈性、疫情、地緣政治或遷廠轉換;如今數位主權與企業控管意識提高,公有雲、私有雲、地端部署與下雲需求,反而在 AI 時代成為新的趨勢。

推論改變流量型態,AI 工廠需要新的負載平衡

當 AI 推論進入生產環境,企業應用不再只是呼叫服務,而是開始呼叫模型。 F5 指出,AI 營運正從單一模型專案,轉向執行時編排 (Runtime Orchestration) 、模型路由 (Model Routing) 、 API 整合與治理。這也使 AI 流量與傳統 Web 應用流量出現明顯差異。

F5 台灣區資深技術總監陳廣融說明,過去 REST 形式的 API 多屬於問與答,對 Web 應用防火牆 (WAF) 或負載平衡來說相對容易處理;但 AI 推論場景常涉及長連接、串流、 WebSocket 、 gRPC 、 HTTP/3 等型態,安全方案能否處理串流內容,將成為新的技術挑戰。

他進一步指出,AI 工廠的負載平衡與傳統 App Server 或 Web Frontend 不同,不能只依照連線或 session 分配流量。由於不同 AI 請求可能消耗不同 token 與 GPU 資源,負載平衡必須感知後端 GPU 框架與資源使用狀態,因此更接近「GPU 感知負載平衡 (GPU Aware Load Balance)」。

Gartner 預測,到 2029 年,50% 的大型企業與服務提供者將升級應用交付控制器 (Application Delivery Controller, ADC) 基礎設施,配備更高容量硬體,以支援 AI 資料傳遞。針對 AI 資料傳輸、 AI 執行時安全及 AI 工廠負載平衡等應用場景,資料中心擴建投資預計將持續推動 ADC 硬體支出成長。

F5 台灣區資深技術總監陳廣融

Agentic AI 擴大安全邊界,Prompt 、 Token 與身分成新控制點

隨著 AI 應用逐步導入代理式 AI,安全邊界也從傳統應用與 API,延伸至提示詞、 token 與 AI 代理身分。 F5 報告指出,88% 企業曾遭遇 AI 相關安全挑戰,98% 企業正為代理式 AI 做準備。這類具自主性的 AI 系統將如同真人使用者,需要具備身分、權限與護欄機制。

企業 AI 工作負載管理模式正在改變,控制核心逐漸轉向提示詞、 token 與 API 。近 29% 企業認為提示層是最重要的 AI 交付機制,23% 企業則將 token 層視為交付與安全的關鍵。

F5 台灣區資深技術總監陳廣融指出,代理式 AI 導入後,企業應用不只是讓聊天機器人回答問題,而是開始導入 agentic framework,讓 AI 代理能呼叫外部工具、資料與服務。在這樣的架構下,MCP 負責連接 Agent 與工具或資料,Agent-to-Agent(A2A) 則連接不同 Agent,企業因此需要重新思考 AI 應用的交付、安全與治理機制。

F5 以 ADSP 整合 AI 交付與 AI 安全

面對 AI 推論、混合多雲與代理式 AI 帶來的新挑戰,F5 將 Application Delivery and Security Platform(ADSP) 定位為跨環境的一致平台。 F5 表示,ADSP 可部署於雲端原生、 DPU 、硬體、 SaaS 與軟體等不同型態,橫跨傳統應用、現代應用、 API 、 AI 應用、 AI 代理、資料中心、公有雲與 AI 工廠。

F5 將 AI 方案分為兩大維度。第一是 AI 資料交付與負載平衡,協助企業進行模型路由、提升 GPU 效率、加速資料管線,並在負載增加的情況下,維持 AI 應用與代理的回應能力。第二是 AI 安全,涵蓋 API 安全、 AI 安全測試、 AI 修復與 AI 執行時安全,用於阻擋提示詞注入、過度授權與資料外洩。

F5 也公布 AI Guardrails 的獨立測試結果。 SecureIQLab 測試顯示,F5 AI Guardrails 面對 2 萬次攻擊時,整體安全分數達 98.36%;對直接提示詞注入攻擊有效防護率為 99.3%,防範 AI 代理過度授權或失控的有效率為 98.7%,防範敏感資料外洩有效率為 99% 。

此外,F5 也透過 AI Red Team 、 AI Remediate 與 AI Guardrails 組成 AI 安全流程。 AI Red Team 用於測試 AI 系統漏洞,AI Remediate 可自動建立與部署自訂護欄,AI Guardrails 則在執行時保護 AI 與代理系統,形成從風險發現到防護落地的完整對策。

後量子安全與可觀測性成為下一階段基礎設施課題

除 AI 交付與 AI 安全外,F5 也將後量子密碼學 (PQC) 與 XOps 納入 ADSP 策略。 F5 指出,量子威脅已成為企業必須提前準備的資安議題,攻擊者可能先蒐集加密資料,等待未來量子運算能力成熟後再解密。

F5 表示,BIG-IP 現已支援混合式 PQC,結合 ECC 與 ML-KEM,並提供抗量子 VPN 隧道技術,以防範「先收集,後解密」風險。 F5 台灣區資深技術總監陳廣融也指出,PQC 對 TLS 與 HTTPS 情境的衝擊尤其明顯,因為瀏覽器與應用連線會產生大量 SSL/TLS 交握,企業在自建環境中將更在意效能影響與加密敏捷性。

在維運面,F5 Insight for ADSP 則提供端到端能見度與維運脈絡,協助企業利用健康度評分、異常偵測、評估報告與自然語言查詢,掌握混合環境中的關鍵指標。 F5 台灣區資深技術總監陳廣融指出,對擁有大量 F5 設備的大型客戶而言,透過自然語言查詢跨設備流量與 Virtual Server 狀態,可望提升維運效率。

企業 AI 成熟度取決於能否安全交付推論

F5 認為,AI 成熟度正快速成為衡量企業營運韌性與市場競爭力的重要指標。當 AI 推論正式進入生產環境,企業不只需要模型,也需要能橫跨雲端、地端、資料中心與 AI 工廠的一致交付、安全、可觀測性與治理能力。

隨著多模型協作、代理式 AI 、長連接 API 與混合多雲成為常態,企業 AI 基礎架構的戰場已從模型訓練延伸至推論交付。能否建立模型路由、 GPU 效率、 AI 執行時安全、身分控管與後量子準備,將決定企業能否把 AI 從實驗導入真正可規模化的營運場景。

發表迴響

關於我們

自 1990 年創刊 UXmaster 雜誌,1991 年獲得美國 LAN Magazine 獨家授權中文版,2006 年獲得 CMP Network Computing 授權,2009 年合併 CMP Network Magazine 獨家授權中文版,2014 年轉型為《網路資訊》雜誌網站,為台灣中小企業協助技術領導者落實企業策略,了解網路規劃及應用,為企業網路應用、管理、 MIS 、 IT 人員必備之專業雜誌網站。


與我們聯絡

加入《網路資訊》雜誌社群

© Copyright 2025 本站版權所有,禁止任意轉載 網路資訊雜誌 / 心動傳媒股份有限公司 聯絡電話:+886 2 29432416

探索更多來自 網路資訊雜誌 的內容

立即訂閱即可持續閱讀,還能取得所有封存文章。

Continue reading

Secret Link