吳明宜知名機器學習實驗室 OpenAI 研究人員發現，他們精心研發最頂尖的電腦視覺系統，只要一枝筆和便條紙就可以騙倒它。研究人員發現，只要在 3M 便條紙寫上物件名稱，貼在一個完全不同的物體上，就能讓誤導 AI 軟體的判斷。
OpenAI 研究人員將此類攻擊稱為「排印錯誤攻擊」(typograhic attack)，基本上是濫用此類 AI 模型讀寫文字能力的攻擊手法。他們發現就算是手寫文字的圖片也足以唬弄 AI 模型。
研究人員表示，這類攻擊有點類似愚弄商業機器視覺系統的對抗式圖片 (adversarial images) 攻擊，但是方法容易得多。
對抗式圖片已對現今仰賴機器視覺的系統形成危害。此類攻擊嚴重威脅各種 AI 應用，有研究人員展示只要在路面上貼上貼紙，就能誤導特斯拉的自駕車無預警變換車道。此外，只要在良性的皮膚影像上的部份像素動手腳，就可能誤導 AI 系統，將良性皮膚病徵判斷為腫瘤，反之亦然。
不過本例以便條紙誤導 AI 系統的危險，至少目前還沒出現。 OpenAI 研究人員展示的 AI 軟體是他們還在實驗中的系統，名為 CLIP，現在還沒有任何實際導入。 CLIP 是用於測試 AI 系統如何在無積極監督情況下以大量圖片和文字配對的訓練學習辨識物體。 OpenAI 研究人員使用從網路上抓下來的 4 億對圖片＋文字來訓練 CLIP 。
一月 OpenAI 才剛公佈 CLIP 。本月 OpenAI 研究人員發表一篇新論文，公佈 CLIP 的研究進展。他們發現多模神經元—機器學習網路中的元件，不但能辨識物件照片，也能對物件的素描、動畫表現或相關文字作出反應。他們認為這和人類大腦對刺激物的反應很像，因為學界發現單一腦細胞能對抽象概念而非特定圖像範例起反應。 OpenAI 的研究顯示，AI 系統或許也具備人類內化知識的能力。
未來或許能開發出更進階的電腦視覺系統，不過現階段還差得遠。任何人類都能輕鬆分辨出一顆蘋果，和一個貼著「蘋果」字樣的東西，但 CLIP 還沒辦法。這是因為它具備從抽象層次上連結文字和圖片的能力，才反而變成它的弱點。 OpenAI 稱之為「抽象的謬誤」。
另一個例子是 CLIP 的神經元對小豬撲滿的辨識能力。這些神經元不但對小豬撲滿的圖片有反應，也對代表錢的「$」符號有反應。只要在不相干的東西（如一個鏈鋸）上貼上「$」的符號，CLIP 就會將之辨識為小豬撲滿。
OpenAI 研究人員也發現 CLIP 的多模神經元也會將網路上的偏見學起來。他們發現「中東」的神經元會被和恐怖主義連起來，以及一個將深膚色的人類和大猩猩建立關聯的神經元，後者是 CLIP 學習 Google 影像辨識系統一個低級錯誤的結果。這也再次說明了機器學習的智慧和人類很不相同，以及必須先徹底了解它的運作原理，才能將人類生活交付於 AI 。
來源：The Verge