DeepFake 被用到了電信詐騙里，該怎么破？

讓他轉(zhuǎn)過頭，看看他的側(cè)臉就好了。

DeepFake 一直以來都存在著這樣一個漏洞：當偽造的人臉完全側(cè)著（轉(zhuǎn) 90 °）時，真實性就會急劇下降。

為什么會出現(xiàn)這樣的結(jié)果呢？

外網(wǎng)有這么一篇文章，解析了為什么在側(cè)臉的情況下，面部偽造的效果大打折扣。

側(cè)臉失真的原因

橫向限制

使用 DeepFake 換臉，當人臉是側(cè)角度時，真實性會急劇下降。

這是因為大多數(shù)基于 2D 的面部對齊算法，視捕捉到側(cè)視圖的特征點數(shù)量僅為主視圖的 50%-60%。

以 "Joint Multi-view Face Alignment in the Wild" 中的 Multi-view Hourglass 面部對齊模型為例。

通過從面部識別特征點，以此為學習數(shù)據(jù)來訓練模型。

從圖中可以看出，正面對齊時識別到 68 個特征點數(shù)量，而在側(cè)面對齊時，僅僅識別到 39 個特征點數(shù)量。

側(cè)面輪廓視圖隱藏了 50% 特征點，這不僅會妨礙識別，還會干擾訓練的準確性以及后續(xù)人臉的合成。

DeepFake 專家 Siwei Lyu 博士表示：

對于當前的 DeepFake 技術(shù)來說，側(cè)臉確實是一個大問題。面部對齊網(wǎng)絡（facial alignment network）對于正面效果非常好，但對于側(cè)面效果不太好。

這些算法有一個基本的限制：如果你只覆蓋你的臉的一部分，對齊機制就可以很好地工作，并且在這種情況下非常強大，但是當你轉(zhuǎn)身時，超過一半的特征點丟失了。

普通人影像資料 " 沙漠 "

換臉要達到比較逼真的效果，還得經(jīng)過大量的訓練，這意味著需要有足夠的訓練數(shù)據(jù)。

外網(wǎng)就有人通過訓練大量的數(shù)據(jù)，將杰瑞 · 宋飛人臉替換到到《低俗小說》 ( 1994 ) 中的場景中。

獲得的側(cè)臉圖像也很難看出破綻：

但是達到如此逼真的效果，是經(jīng)過了大量數(shù)據(jù)的訓練，在上述這個例子中，電視節(jié)目 "Seinfeld" 就為此次訓練提供了長達 66 個小時的可用鏡頭。

而相比之下，除了電影演員之外，普通人的影像資料都少之又少，并且在平時拍照記錄時，很少有人會記錄完全呈 90 ° 的側(cè)臉照。

因此，通過 DeepFake 偽造的人臉很輕易就在側(cè)臉時露出破綻。

也有網(wǎng)友在 Hacker News 上調(diào)侃道：

最近去一家不知名的銀行辦了張卡，竟然需要我的側(cè)身照，當時我還很疑惑，現(xiàn)在我終于知道為什么了。

用手在面前晃動也可以識別偽造的臉

視頻通話時判斷對方是不是 DeepFake 偽造的，除了通過側(cè)臉判斷，還有一個小方法：用手在面前晃動。

如果是偽造的人臉，手與臉部圖像的疊加可能會出現(xiàn)錯亂，并且手在晃動過程中會出現(xiàn)延遲現(xiàn)象。

△在換臉寡姐和 X 教授時，手和面部疊加發(fā)生錯亂

實時的 DeepFake 都會面臨這樣一個問題：需要將真實的遮擋物疊加到不真實的面部圖像上，一般稱這個操作為 " 遮罩 " 或 " 背景去除 "。

并且，實時 DeepFake 模型需要能夠根據(jù)要求隨意執(zhí)行摳圖，達到可令人信服的水平。

但往往也會有很多混淆的遮擋物來影響 " 摳圖 " 的過程，比如說具有人臉特征的遮擋物會給模型造成 " 困擾 "，使其 " 摳圖 " 過程很難進行。

用手在偽造的臉前晃動，遮擋物的快速移動會給 " 摳圖 " 帶來很大的困難，從而造成很大的延遲，并且會影響疊加的質(zhì)量。

One More Thing

換臉犯罪并不遙遠，已經(jīng)有媒體報道過有嫌疑犯通過 DeepFake 換臉進行 IT 工作的遠程面試，以試圖侵入公司，獲取他們的客戶或財務數(shù)據(jù)，以及企業(yè) IT 數(shù)據(jù)和專業(yè)信息等。

美國聯(lián)邦調(diào)查局（FBI）曾致函其互聯(lián)網(wǎng)犯罪投訴中心，稱收到過多起投訴，有人利用竊取的信息和深度偽造的視頻、語音申請遠程技術(shù)工作。

在聯(lián)邦機構(gòu) 5 月份報告中描述的案例中，一些換臉嫌疑人通過幾層空殼公司進行操作，這使得識別他們的身份變得更加困難。