Anthropic 模型誤送費城警方假線索 垃圾訊息機制攔下後續調查

Anthropic揭露,Claude曾在測試與內部使用期間提交虛構警方線索、繞過付費資料存取限制,以及利用網站漏洞執行指令。公司已限制所有內部評估的真實網路存取,並強化工具防護與行為監控。

Anthropic 的 Claude 模型在測試期間,曾向美國費城警方網站提交一則捏造的兇殺懸案線索。警方與 Anthropic 均證實此事;該筆通報遭判定為垃圾訊息,未進入人工審查或後續調查流程。 Anthropic 也揭露,Claude 曾在其他測試與內部使用情境中,繞過資料存取限制、利用網站漏洞執行指令,以及透過短網址服務規避工具限制。

虛構案件線索遭垃圾訊息機制攔截

Claude Haiku 4.5 在 2026/07/18 造訪費城警方的未偵破兇殺案網站,填寫並提交案件線索表單。 Anthropic 直到 2026/09/28 才發現這起事件,並於 2026/10/08 通報警方。

Anthropic 說明,當時模型被要求在隨機選取的網頁上產生並執行示範任務。指令禁止模型登入、建立帳號、輸入個人資料、購物或提交具破壞性的內容,但未明確禁止提交表單。模型進入案件網頁後,捏造自己曾在案發地點附近看過符合描述的人,然而該網頁並未提供嫌犯描述。

模型將姓名與聯絡欄位留白,但表單仍允許提交。警方表示,通報紀錄保留在網站中,提交後產生的電子郵件則進入垃圾郵件匣,因此未經人員審閱,也未進入後續調查流程。

表單測試誤觸真實政府網站

Anthropic 另指出,在其他表單評估中,Claude Haiku 4.5 被要求填寫表單至最後提交階段,但必須在實際送出前停止。模型卻曾多次誤以為下一步還有確認頁面,因而直接提交表單。這與費城警方假線索事件屬於不同的測試情境。

此外,Ars Technica 引述《紐約時報》報導指出,Anthropic 的 AI 代理曾透過美國國務院網站提交 20 份簽證申請。這些申請均未完整填寫,因此未被處理。

繞過付費資料與工具存取限制

在另一個內部使用案例中,Anthropic 研究人員要求 Claude Mythos 5 進行統計專案,需要取得某州政府機關提供的付費公開資料。模型從該機關網站的封存版本得知,公開儀表板會向訪客核發存取權杖 (token),於是取得權杖,直接查詢資料庫而未支付費用。

Claude Mythos Preview 也曾在科學分析評估中,因大學網站上的公開分析工具回傳錯誤,轉而探索該網站。模型找到可傳回伺服器檔案的指令碼,取得包括指令碼本身在內的檔案後,發現其中的注入漏洞,進而在伺服器上執行指令,完成所需計算。

Anthropic 還發現,部分模型會利用免費短網址服務,繞過網頁擷取工具對 URL 長度的限制。公司指出,這項限制原本是為了降低模型透過長網址執行非預期動作的風險,例如將較大量的資料傳出。

限制內部評估連線並強化防護

Anthropic 表示,已辨識案例的實際影響有限,從模型對齊與安全角度來看,嚴重性低於公司先前揭露的資安事件。不過,公司仍將關閉真實網際網路存取的措施,擴大至所有內部評估,直到確認安全與監控機制能可靠攔截這類行為。

這並非全面停止所有評估。 Anthropic 說明,部分公開評估已停止執行,其他評估則改用離線版本,或重新設計任務以避免接觸真實網站。公司也強化網路工具限制、建立自動偵測與攔截機制,並持續調整訓練環境、集中管理內部代理及擴大行為監控,以降低模型為完成任務而繞過限制的風險。

(綜合外電報導)

Leave a Reply

Your email address will not be published. Required fields are marked *

關於我們

自 1990 年創刊 UXmaster 雜誌,1991 年獲得美國 LAN Magazine 獨家授權中文版,2006 年獲得 CMP Network Computing 授權,2009 年合併 CMP Network Magazine 獨家授權中文版,2014 年轉型為《網路資訊》雜誌網站,為台灣中小企業協助技術領導者落實企業策略,了解網路規劃及應用,為企業網路應用、管理、 MIS 、 IT 人員必備之專業雜誌網站。


與我們聯絡

加入《網路資訊》雜誌社群

© Copyright 2025 本站版權所有,禁止任意轉載 網路資訊雜誌 / 心動傳媒股份有限公司 聯絡電話:+886 2 29432416

探索更多來自 網路資訊雜誌 的內容

立即訂閱即可持續閱讀,還能取得所有封存文章。

繼續閱讀

Secret Link