Anthropic Claude AI 助理有一項新發現的漏洞,可讓攻擊者利用其程式碼解析功能,暗中外洩企業資料,繞過企業網路的安全設定。
資安研究人員 Johann Rehberger 展示,利用間接指令注入來操弄 Claude AI 的檔案上傳 API,洩露敏感資訊,包括聊天紀錄、上傳文件,以及從整合服務存取的資料,將之送到攻擊者控制的帳號。
攻擊者是利用 Claude 網路存取控制的一大疏失。雖然其平台「僅套件管理員」的預設值可限制外出連線僅能連到許可的網域,像是 npm 和 PyPI,但也允許存取 api.anthropic.com,這就給了攻擊者竊取資料的機會。
攻擊串是利用間接指令注入,攻擊者將惡意指令藏在使用者要求 Claude 分析的內容,像是文件、網站等等。一旦觸發攻擊串,就會執行多步驟流程。
首先,Claude 擷取敏感資料,像是利用新推出的記憶體功能取得最近的對話紀錄,再將之寫入程式碼解析沙箱。然後惡意程式指示 Claude 執行 Python 程式碼上傳檔案到 Anthropic 的 Files API,但有一個陷阱,它用的是攻擊者而非受害者的 API 金鑰。
根據 Anthropic API 的設計文件,這方法可傳送最大 30MB 的檔案,且不限上傳的檔案數量。
Rehberger 的報告指出,Claude 內建安全機制,想開發有效的濫用手法並不容易。 Claude AI 一開始會因判別為可疑而拒絕包含明文 API 金鑰的請求。然而 Rehberger 說,只要混合惡意程式碼和無害的指令,像是簡單的列印證明,就足以繞過安全限制。
Rehberger 在 10 月 25 日已透過 HackerOne 向 Anthropic 通報本漏洞。 Anthropic 並未修補,因為他們認為這只是模型安全問題,而非安全漏洞且不打算修補,但後來改口證實為漏洞,正製作修補程式。 Anthropic 建議用戶使用 Claude 時要留意它是否有存取用戶資訊,若發現有此情形應立即停止使用。
來源:CSO Online
