臉書嘗試新的 FEN 演算法 可找出是哪一台電腦上傳 deepfake 影片

最近臉書和密西根州立大學合作發展出一項deepfake逆向工程技術,可分析AI產出的圖片或相片,辨識建立deepfake圖片的機器學習模型的特徵,包括從哪台機器上傳的。

AI 造假影片 deepfake 現在對臉書還不是大問題,不過該公司未雨稠繆,持續贊助破解 deepfake 的研究。最近臉書和密西根州立大學合作發展出一項 deepfake 逆向工程技術,可分析 AI 產出的圖片或相片,辨識建立 deepfake 圖片的機器學習模型的特徵,包括從哪台機器上傳的

現有辨識 deepfake 的方法是判斷相片是否由已知 AI 模型產出。像微軟最近推出的 Video Authenticatior,可為靜態相片或影片的造假給出信心分數。去年臉書 deepfake 偵測挑戰賽的冠軍也是用這種方法,準確率達 82%。

指紋評估網路挑戰傳統辨識法

但密西根大學研究則更進一步,想找出 deepfake 未知模型的架構特徵,以提升辨識能力。他們將 deepfake 相片以指紋評估網路 (fingerprint estimation network, FEN) 分析,稱為 hyperparameters(超參數)。這些參數必須每個機器學習模型調整,好比多個元件組成一部引擎,集結起來,每個完成的影片或圖片就能找出獨特指紋。然後再集結這些指紋來訓練出一個能偵測未知模型的模型。

他們的方法一開始是找出歸納屬性 (attribution),發現生成 deepfake 的模型特性。透過找出相片屬性,在一大群 deepfake 相片之中找出不同樣態的相似處,就能推論出產生 deepfake 背後的生成模型,並判斷出一系列相片是來自同一個地方。

研究人員指出,其演算法已經可評估出生成 deepfake 模型,使用的網路架構及其「training loss function」(如何訓練的)。研究小組產出 100 個已知模型產生的 10 萬張 deepfake 相片,以其演算法加以判斷。結果比起傳統方法「相當有競爭力」,而且該演算法還能偵測聯合假資訊操作攻擊,即由單一來源,但上傳到多個不同平台上的 deepfake 相片。

還可找出是哪一台電腦上傳 deepfake 影片

臉書首席研究人員 Tal Hassner 指出,找出未知模型特徵是很重要的,因為 deepfake 軟體很容易客製化。一個高手只要一台電腦,就能產出 deepfake 的產生模型。他指出,壞人在不同平台上產生及上傳不同 deepfake 給不同使用者,過去只能辨識已知 AI 模型的時代,若其中有用到新模型,就會找不出源頭。但研究團隊找到的演算法可以追溯出產生模型的特徵,還能辨識某張圖是否為 deepfake,以及是用哪種模型製作出來的。用新方法,就可以明確指出這張相片是從這,那張相片是從那上傳的,或是兩者是來自同一模型。如果破獲了電腦,也可以判斷是從這台裝置上傳的。Hassner 比喻有點像是鑑識學上,分析某張相片的某些特徵,判斷是由某台相機拍出來的。

開發中的逆向工程技術目標是破解 deepfake 是取自哪些人的臉部相片,並且偵測出圖片中的假文字,甚至以 AI 改進相片畫質。

不過正義的一方技術還不成熟。去年臉書扮了個 deepfake 偵測大賽,結果得冠軍的演算法 deepfake 影片辨識率也只有八成。原因之一是生成 AI 發展太活躍了,新技術不斷推陳出新,破解技巧尚難以追上。這項研究還在初期,因此也還未能實作到臉書平台上。

來源:VenturebeatThe Verge

關於我們

自 1990 年創刊 UXmaster 雜誌,1991 年獲得美國 LAN Magazine 獨家授權中文版,2006 年獲得 CMP Network Computing 授權,2009 年合併 CMP Network Magazine 獨家授權中文版,2014 年轉型為《網路資訊》雜誌網站,為台灣中小企業協助技術領導者落實企業策略,了解網路規劃及應用,為企業網路應用、管理、MIS、IT 人員必備之專業雜誌網站。


與我們聯絡

加入《網路資訊》雜誌社群

© Copyright 2023 本站版權所有,禁止任意轉載 網路資訊雜誌 / 心動傳媒股份有限公司 聯絡電話:+886 2 29432416