吳明宜上周 OpenAI 發佈教學人員使用 AI 的資源，包括為老師們建議的 ChatGPT 提示。而在一篇 FAQ 文件中，他們正式承認，偵測文件是否為 AI 所撰寫的工具，其實效果不佳，雖然已經有不少學生 AI 冤枉了他們。
OpenAI 的 FAQ 中有一題：「AI 偵測器是否有用？」OpenAI 說沒有。雖然有些業者，包括 OpenAI 都推出號稱可偵測 AI 生成的內容，但沒有一個能穩定分辨 AI 生成與人類撰寫的內容。
今年 7 月《Ars Technica》報導一些偵測器如 GPTZero 等工具並沒有效果，專家稱這些東西多半是誇大不實。這些偵測器使用的是未經驗證的偵測量值，因而經常有誤判情形。因為 AI 和人類撰寫的文本並沒有穩定的特徵，而且只要稍稍修改就能騙過 AI 偵測器。同月，OpenAI 也悄悄終止它名為 AI 分類器的實驗性偵測產品，因為測試結果，準確率僅僅 26% 。
OpenAI 也釐清一個錯誤觀念，即 ChatGPT 可以分得出文本是否為 AI 生成。 OpenAI 說，ChatGPT 並無法知道什麼內容是 AI 生成，它有時還會捏造答案，來回應像是「這論文是你寫的嗎？」、「這篇報告是 AI 寫的嗎？」等問題。而且它還是隨機產生這些胡說八道的答案。
OpenAI 還證明 AI 可能虛構假資訊。該公司表示，有時 ChatGPT 的回答看來可信，但其實可能提供不正確或誤導性資訊（文獻上稱為「幻覺」），它甚至可能捏造引述或來源，所以千萬不要用它作為唯一研究資料來源。
今年 5 月一名律師就引用了 ChatGPT 提供的 6 個不存在的判例而貽笑大方。
不過，即使 AI 偵測 AI 生成文字的效果不佳，也不表示人類無法判斷出來。例如如果老師熟悉學生的寫作風格，便能在風格突然發生變化時察覺。而且一些手法太粗糙的瞞騙手法也會露出馬腳，因為使用者就只是貼上 ChatGPT 內容，但不會檢查。
OpenAI FAQ 的製作顧問的賓州大學華頓商學院教授 Ethan Mollick 建議，由於今天 AI 偵測器還不太給力，最安全的作法是完全不要使用。
來源：Ars Technica