想把AI玩壞？只要手寫便條紙就可以騙過人工智慧視覺辨識

知名機器學習實驗室OpenAI研究人員發現，他們精心研發最頂尖的電腦視覺系統，只要一枝筆和便條紙就可以騙倒它。研究人員發現，只要在3M便條紙寫上物件名稱，貼在一個完全不同的物體上，就能讓誤導AI軟體的判斷。

OpenAI研究人員將此類攻擊稱為「排印錯誤攻擊」(typograhic attack)，基本上是濫用此類AI模型讀寫文字能力的攻擊手法。他們發現就算是手寫文字的圖片也足以唬弄AI模型。

研究人員表示，這類攻擊有點類似愚弄商業機器視覺系統的對抗式圖片(adversarial images)攻擊，但是方法容易得多。

對抗式圖片已對現今仰賴機器視覺的系統形成危害。此類攻擊嚴重威脅各種AI應用，有研究人員展示只要在路面上貼上貼紙，就能誤導特斯拉的自駕車無預警變換車道。此外，只要在良性的皮膚影像上的部份像素動手腳，就可能誤導AI系統，將良性皮膚病徵判斷為腫瘤，反之亦然。

不過本例以便條紙誤導AI系統的危險，至少目前還沒出現。OpenAI研究人員展示的AI軟體是他們還在實驗中的系統，名為CLIP，現在還沒有任何實際導入。CLIP是用於測試AI系統如何在無積極監督情況下以大量圖片和文字配對的訓練學習辨識物體。OpenAI研究人員使用從網路上抓下來的4億對圖片＋文字來訓練CLIP。

一月OpenAI才剛公佈CLIP。本月OpenAI研究人員發表一篇新論文，公佈CLIP的研究進展。他們發現多模神經元—機器學習網路中的元件，不但能辨識物件照片，也能對物件的素描、動畫表現或相關文字作出反應。他們認為這和人類大腦對刺激物的反應很像，因為學界發現單一腦細胞能對抽象概念而非特定圖像範例起反應。OpenAI的研究顯示，AI系統或許也具備人類內化知識的能力。

未來或許能開發出更進階的電腦視覺系統，不過現階段還差得遠。任何人類都能輕鬆分辨出一顆蘋果，和一個貼著「蘋果」字樣的東西，但CLIP還沒辦法。這是因為它具備從抽象層次上連結文字和圖片的能力，才反而變成它的弱點。OpenAI稱之為「抽象的謬誤」。

另一個例子是CLIP的神經元對小豬撲滿的辨識能力。這些神經元不但對小豬撲滿的圖片有反應，也對代表錢的「$」符號有反應。只要在不相干的東西（如一個鏈鋸）上貼上「$」的符號，CLIP就會將之辨識為小豬撲滿。

OpenAI研究人員也發現CLIP的多模神經元也會將網路上的偏見學起來。他們發現「中東」的神經元會被和恐怖主義連起來，以及一個將深膚色的人類和大猩猩建立關聯的神經元，後者是CLIP學習Google影像辨識系統一個低級錯誤的結果。這也再次說明了機器學習的智慧和人類很不相同，以及必須先徹底了解它的運作原理，才能將人類生活交付於AI。

來源：The Verge