吳明宜Palo Alto Networks 研究人員發現一種新的 AI 供應鏈攻擊手法，證實能影響 Google 和微軟產品，也可能影響開原碼專案。
這個 AI 供應鏈攻擊手法名為「模型命名空間重用 (Model Namespace Reuse)」，主要是攻擊者註冊了已從 Hugging Face 等平台被開發者刪除和轉移的模型名稱。 Palo Alto 研究人員指出，成功攻擊後，攻擊者可部署惡意 AI 模型而執行任意程式碼。
Hugging Face 是代管和分享預訓練模型、資料集和 AI 應用程式的知名平台。開發人員想使用特定模型時，可以根據「Author/ModelName」中的模型名稱和開發商名字索引或拉取。
在模型命名空間重用攻擊中，攻擊者搜尋已刪除帳號或改用別名的帳號持有人的模型，他們的舊名稱可開放註冊。攻擊者註冊了鎖定的舊名後，新建了惡意模型，模型名稱可能被許多專案索引，其中包括他們的鎖定目標。
Palo Alto Networks 研究人員展示這手法對 Google Vertex AI 機器學習平台的風險，特別是對 Model Garden 程式庫的預訓練模型。
Model Garden 支援直接 Hugging Face 模型的直接部署，模型命名空間重用攻擊，就是用這點，註冊留在 Vertex AI 平台上的舊帳號名稱。研究人員在模型中放入惡意程式，可從部署機器上執行 reverse shell 回伺服器。一旦 Vertex AI 部署了模型，研究人員就能存取代管模型的基礎架構，特別是端點環境。
這個手法也能用在微軟機器學習和生成式 AI 應用開發平台 Azure AI Foundry 上。這是因為 Azure AI Foundry 也允許使用者從 Hugging Face 部署模型，使其遭受攻擊。
除了 Google 和微軟雲端平台外，Palo Alto 研究人員也試圖找出可能受影響的開原程式庫。他們發現有數千種有風險的程式庫，不乏知名及熱門專案。
研究人員已經通知了 Google 、微軟和 Hugging Face 。 Google 已開始檢查孤兒模型。但是 Palo Alto Networks 指出，僅根據模型名稱來拉取模型的組織將是高風險族群。這也突顯 AI 產業重新審視安全的必要性。
為了降低模型命名空間重用攻擊風險，Palo Alto Networks 建議開發人員將用過的模型「釘」到特定 commit 中以防止不預期的行為變化，也建議複製模型、並將佔在可信任地方，以免被第三方服務拉取，此外也應掃瞄模型索引的程式碼，以確保供應鏈安全。
來源：Securityweek