吳明宜安全風險管理公司 Vulcan.io 近日公佈一份報告，顯示駭客可利用 ChatGP 的 AI 幻覺，從受信任儲存庫散佈惡意程式。
研究人員在最新研究中，蒐集程式碼撰寫 QA 論壇 Stack Overflow 的其 FAQ 中的問題。他們選擇 40 種程式撰寫主題，包括解析 (parsing) 、抓取 (scraping) 技術及數學等，以及每個主題中前 100 個問題。接著他們從其中的「how to」問題中篩選出包含程式套件的問題。研究人員特別鎖定常用的程式語言類別，包括 Node.js 、 Python 和 Go 。從 FAQ 蒐集到答案後， 他們將之輸入 ChatGPT 3.5 的提示列，目的在模仿一般開發人員在最短時間內對開發套件的建議，並接續要求提供更多套件。
這研究的目的是，看看 ChatGPT 會產出什麼誇張的答案，因為 AI 幻覺 (hallucination) 的缺陷可能會讓 AI 助理建議不存在的套件。 AI 幻覺是指，ChatGPT 等產生式 AI 系統可能回應錯誤或捏造的內容，也是目前許多研究發現此類 AI 的一大隱憂。
在 Node.js 套件 (npm) 及 Python 套件 (pip) 類別中，ChatGPT 回覆研究人員的建議中，分別有 20% 及 35% 是根本沒存在過的套件。
研究人員之後選了其中一個套件名稱，新增了測試用的同名套件，如此一來，套件就真的存在了。它的功能是會從下載的用戶裝置中連線回研究人員的伺服器。研究人員想了解，是不是真的有人依 ChatGPT 建議，下載套件來開發程式。
結果真的有「受害者」安裝並啟用該測試套件。研究人員指出，一旦攻擊者利用 ChatGPT 的幻覺，就能產出想要的惡意程式，讓不知情的開發人員上鈎，進而安裝並受害。
他們建議，在下載任何套件前，開發人員應注意套件的創作時間、下載次數、有無正面用戶評論。此外，合法函式庫應會有說明文件。
這份研究也再次說明，ChatGPT 並不能給你 100% 正確的答案，而只有看起來正確的內容，因此，在使用 ChatGPT 的答案和建議前，都應小心求證及確認。