Google 發表專找漏洞的 AI 模型－Project Naptime 測試分數是 GPT-4 的 20 倍

Google 開發出一項允許大型語言模型 (LLM) 執行漏洞研究的新框架，名為 Project Naptime，可協助加速自動化漏洞研究。

Google Project Zero 研究人員指出，Project Naptime 結合 AI 代理程式和目標程式庫二種特性，它提供一組模仿人類研究員工作流程的專門工具，以輔助漏洞研究。其命名是 Google 希望它協助漏洞研究及自動化變種分析，讓人類可以「小睡一下」(take a nap) 。

Project Naptime 原理是應用 LLM 理解程式碼及一般推論能力，使其模仿人類辨識和展示安全漏洞的行為。這組框架包含多項元件，像是可讓 AI 代理程式尋找目標程式庫的程式瀏覽器、一個可在沙箱環境執行 Python 腳本指令的 Python 工具、一個觀察程式因應不同輸入的行為的除錯工具、和一個監控任務進行的報告工具。

Google 說，Project Naptime 適合多種模型及骨幹，而且根據 CYBERSECEVAL2 標竿測試，它標註緩衝溢位和進階記憶體毁損漏洞的能力也比其他工具優異。 CYBERSECEVAL2 是今年 4 月 Meta 發佈量化評估 LLM 安全風險的評估套件。在 Google 複製和攻擊漏洞的測試中，新工具在發現前述二種漏洞的測試分數，是 1.00 和 0.76，相較之下，OpenAI GPT-4 Turbo 則各拿了 0.05 和 0.24 分。

Google 說，Project Naptime 利用 LLM 執行漏洞研究的行為，近似人類安全專家採取以假設驅動的迭代式研究模式。其架構不僅提升漏洞辨識和分析的能力，也確保結果是準確且是可複製的。

來源：The Hacker News