吳明宜臉書嘗試新的 FEN 演算法 可找出是哪一台電腦上傳 deepfake 影片
AI 造假影片 deepfake 現在對臉書還不是大問題，不過該公司未雨稠繆，持續贊助破解 deepfake 的研究。最近臉書和密西根州立大學合作發展出一項 deepfake 逆向工程技術，可分析 AI 產出的圖片或相片，辨識建立 deepfake 圖片的機器學習模型的特徵，包括從哪台機器上傳的。
現有辨識 deepfake 的方法是判斷相片是否由已知 AI 模型產出。像微軟最近推出的 Video Authenticatior，可為靜態相片或影片的造假給出信心分數。去年臉書 deepfake 偵測挑戰賽的冠軍也是用這種方法，準確率達 82%。
指紋評估網路挑戰傳統辨識法
但密西根大學研究則更進一步，想找出 deepfake 未知模型的架構特徵，以提升辨識能力。他們將 deepfake 相片以指紋評估網路 (fingerprint estimation network, FEN) 分析，稱為 hyperparameters（超參數）。這些參數必須每個機器學習模型調整，好比多個元件組成一部引擎，集結起來，每個完成的影片或圖片就能找出獨特指紋。然後再集結這些指紋來訓練出一個能偵測未知模型的模型。
他們的方法一開始是找出歸納屬性 (attribution)，發現生成 deepfake 的模型特性。透過找出相片屬性，在一大群 deepfake 相片之中找出不同樣態的相似處，就能推論出產生 deepfake 背後的生成模型，並判斷出一系列相片是來自同一個地方。
研究人員指出，其演算法已經可評估出生成 deepfake 模型，使用的網路架構及其「training loss function」（如何訓練的）。研究小組產出 100 個已知模型產生的 10 萬張 deepfake 相片，以其演算法加以判斷。結果比起傳統方法「相當有競爭力」，而且該演算法還能偵測聯合假資訊操作攻擊，即由單一來源，但上傳到多個不同平台上的 deepfake 相片。
還可找出是哪一台電腦上傳 deepfake 影片
臉書首席研究人員 Tal Hassner 指出，找出未知模型特徵是很重要的，因為 deepfake 軟體很容易客製化。一個高手只要一台電腦，就能產出 deepfake 的產生模型。他指出，壞人在不同平台上產生及上傳不同 deepfake 給不同使用者，過去只能辨識已知 AI 模型的時代，若其中有用到新模型，就會找不出源頭。但研究團隊找到的演算法可以追溯出產生模型的特徵，還能辨識某張圖是否為 deepfake，以及是用哪種模型製作出來的。用新方法，就可以明確指出這張相片是從這，那張相片是從那上傳的，或是兩者是來自同一模型。如果破獲了電腦，也可以判斷是從這台裝置上傳的。Hassner 比喻有點像是鑑識學上，分析某張相片的某些特徵，判斷是由某台相機拍出來的。
開發中的逆向工程技術目標是破解 deepfake 是取自哪些人的臉部相片，並且偵測出圖片中的假文字，甚至以 AI 改進相片畫質。
不過正義的一方技術還不成熟。去年臉書扮了個 deepfake 偵測大賽，結果得冠軍的演算法 deepfake 影片辨識率也只有八成。原因之一是生成 AI 發展太活躍了，新技術不斷推陳出新，破解技巧尚難以追上。這項研究還在初期，因此也還未能實作到臉書平台上。