Anthropic 的 Claude 模型在測試期間,曾向美國費城警方網站提交一則捏造的兇殺懸案線索。警方與 Anthropic 均證實此事;該筆通報遭判定為垃圾訊息,未進入人工審查或後續調查流程。 Anthropic 也揭露,Claude 曾在其他測試與內部使用情境中,繞過資料存取限制、利用網站漏洞執行指令,以及透過短網址服務規避工具限制。
虛構案件線索遭垃圾訊息機制攔截
Claude Haiku 4.5 在 2026/07/18 造訪費城警方的未偵破兇殺案網站,填寫並提交案件線索表單。 Anthropic 直到 2026/09/28 才發現這起事件,並於 2026/10/08 通報警方。
Anthropic 說明,當時模型被要求在隨機選取的網頁上產生並執行示範任務。指令禁止模型登入、建立帳號、輸入個人資料、購物或提交具破壞性的內容,但未明確禁止提交表單。模型進入案件網頁後,捏造自己曾在案發地點附近看過符合描述的人,然而該網頁並未提供嫌犯描述。
模型將姓名與聯絡欄位留白,但表單仍允許提交。警方表示,通報紀錄保留在網站中,提交後產生的電子郵件則進入垃圾郵件匣,因此未經人員審閱,也未進入後續調查流程。
表單測試誤觸真實政府網站
Anthropic 另指出,在其他表單評估中,Claude Haiku 4.5 被要求填寫表單至最後提交階段,但必須在實際送出前停止。模型卻曾多次誤以為下一步還有確認頁面,因而直接提交表單。這與費城警方假線索事件屬於不同的測試情境。
此外,Ars Technica 引述《紐約時報》報導指出,Anthropic 的 AI 代理曾透過美國國務院網站提交 20 份簽證申請。這些申請均未完整填寫,因此未被處理。
繞過付費資料與工具存取限制
在另一個內部使用案例中,Anthropic 研究人員要求 Claude Mythos 5 進行統計專案,需要取得某州政府機關提供的付費公開資料。模型從該機關網站的封存版本得知,公開儀表板會向訪客核發存取權杖 (token),於是取得權杖,直接查詢資料庫而未支付費用。
Claude Mythos Preview 也曾在科學分析評估中,因大學網站上的公開分析工具回傳錯誤,轉而探索該網站。模型找到可傳回伺服器檔案的指令碼,取得包括指令碼本身在內的檔案後,發現其中的注入漏洞,進而在伺服器上執行指令,完成所需計算。
Anthropic 還發現,部分模型會利用免費短網址服務,繞過網頁擷取工具對 URL 長度的限制。公司指出,這項限制原本是為了降低模型透過長網址執行非預期動作的風險,例如將較大量的資料傳出。
限制內部評估連線並強化防護
Anthropic 表示,已辨識案例的實際影響有限,從模型對齊與安全角度來看,嚴重性低於公司先前揭露的資安事件。不過,公司仍將關閉真實網際網路存取的措施,擴大至所有內部評估,直到確認安全與監控機制能可靠攔截這類行為。
這並非全面停止所有評估。 Anthropic 說明,部分公開評估已停止執行,其他評估則改用離線版本,或重新設計任務以避免接觸真實網站。公司也強化網路工具限制、建立自動偵測與攔截機制,並持續調整訓練環境、集中管理內部代理及擴大行為監控,以降低模型為完成任務而繞過限制的風險。
(綜合外電報導)
