封閉 AI 服務面臨新威脅：transformer 模型可能被駭

Google 研究人員發現一種方法能駭入 OpenAI 和 Google 的封閉 AI 服務，使部份 transformer 模型曝露於外。

這類攻擊曝露出一種「黑盒子」模型，透過 API 查詢可顯示 transformer 模型的嵌入投影層 (projection layer)。費用視目標模型大小和查詢次數而定，少至幾美元，多到數千美元。

Google DeepMind、蘇黎世理工學院、華盛頓大學、OpenAI 及 McGill 大學 13 名資訊科學家最近發表了一篇論文探討了攻擊手法。該攻擊是基於 2016 年發表的模型萃取攻擊 (extraction attack) 法。研究人員用不到 20 美元，就萃取出 OpenAI 的 ada 及 babbage 語言模型的整個投影矩陣，因而首次證實了這二個黑盒子模型分別具有 1024 及 2048 個隱藏維度。他們也發現 GPT-3.5-Turbo 模型的隱藏維度，估計只要不到 2,000 美元就能公開整個投影矩陣。

目前，研究團隊已經向 OpenAI 和 Google 通報其研究發現，兩公司都表示已導入防護機制來防範此類攻擊手法。不過由於 OpenAI GPT-3.5-Turbo 還在市面上使用，研究人員決定不公開模型大小。他們之所以公開 Ada、babbage 大小，是因為二個模型都已經不再使用。

雖然其攻擊手法未曝露整個模型，但研究人員說，已經揭露出模型最後的加權矩陣 (weight matrix)，即模型的寬度，且顯示可進一步探測模型的資訊。研究人員說，取得模型的任何參數令人擔憂，因為攻擊者可能藉此挖出更多資訊，要是還取得權重，就能掌握整個模型。

Google 團隊就是像一般用戶下查詢，即可重建出整個模型的某些參數，完全不需取得權重。而根據美國國務院委託的另一份調查研究顯示，只要取得私有模型足夠的資訊，就能將之複製出來。

來源：The Register