吳明宜臉書嘗試新的FEN演算法 可找出是哪一台電腦上傳deepfake影片
AI造假影片deepfake現在對臉書還不是大問題，不過該公司未雨稠繆，持續贊助破解deepfake的研究。最近臉書和密西根州立大學合作發展出一項deepfake逆向工程技術，可分析AI產出的圖片或相片，辨識建立deepfake圖片的機器學習模型的特徵，包括從哪台機器上傳的。
現有辨識deepfake的方法是判斷相片是否由已知AI模型產出。像微軟最近推出的Video Authenticatior，可為靜態相片或影片的造假給出信心分數。去年臉書deepfake偵測挑戰賽的冠軍也是用這種方法，準確率達82%。
指紋評估網路挑戰傳統辨識法
但密西根大學研究則更進一步，想找出deepfake未知模型的架構特徵，以提升辨識能力。他們將deepfake相片以指紋評估網路(fingerprint estimation network, FEN)分析，稱為hyperparameters（超參數）。這些參數必須每個機器學習模型調整，好比多個元件組成一部引擎，集結起來，每個完成的影片或圖片就能找出獨特指紋。然後再集結這些指紋來訓練出一個能偵測未知模型的模型。
他們的方法一開始是找出歸納屬性(attribution)，發現生成deepfake的模型特性。透過找出相片屬性，在一大群deepfake相片之中找出不同樣態的相似處，就能推論出產生deepfake背後的生成模型，並判斷出一系列相片是來自同一個地方。
研究人員指出，其演算法已經可評估出生成deepfake模型，使用的網路架構及其「training loss function」（如何訓練的）。研究小組產出100個已知模型產生的10萬張deepfake相片，以其演算法加以判斷。結果比起傳統方法「相當有競爭力」，而且該演算法還能偵測聯合假資訊操作攻擊，即由單一來源，但上傳到多個不同平台上的deepfake相片。
還可找出是哪一台電腦上傳deepfake影片
臉書首席研究人員Tal Hassner指出，找出未知模型特徵是很重要的，因為deepfake軟體很容易客製化。一個高手只要一台電腦，就能產出deepfake的產生模型。他指出，壞人在不同平台上產生及上傳不同deepfake給不同使用者，過去只能辨識已知AI模型的時代，若其中有用到新模型，就會找不出源頭。但研究團隊找到的演算法可以追溯出產生模型的特徵，還能辨識某張圖是否為deepfake，以及是用哪種模型製作出來的。用新方法，就可以明確指出這張相片是從這，那張相片是從那上傳的，或是兩者是來自同一模型。如果破獲了電腦，也可以判斷是從這台裝置上傳的。Hassner比喻有點像是鑑識學上，分析某張相片的某些特徵，判斷是由某台相機拍出來的。
開發中的逆向工程技術目標是破解deepfake是取自哪些人的臉部相片，並且偵測出圖片中的假文字，甚至以AI改進相片畫質。
不過正義的一方技術還不成熟。去年臉書扮了個deepfake偵測大賽，結果得冠軍的演算法deepfake影片辨識率也只有八成。原因之一是生成AI發展太活躍了，新技術不斷推陳出新，破解技巧尚難以追上。這項研究還在初期，因此也還未能實作到臉書平台上。