什么！杨幂AI技术换脸视频曝光？ “DeepFake”技术堪比核武器！

前言回看"视频换脸"事实上并没不是什么大噱头：早在2016年，大家就见过利用 DCGAN 来"装修"房屋，随后各种 GAN 如雨后春笋：换脸的、换物种的，造人头

所以，这里我们先以吃瓜心态回顾一下这起黑天鹅事件。

GAN“装饰”房间

DeepFakes事件回顾

该事件起源于2017年12月，一名网名为deepfakes的程序员向Reddit上传了一段“名人AV”：该AV视频的女主角竟是《神奇女侠》的主演盖尔·加朵。当然，这不是盖尔·加朵出海，而是利用AI技术将盖尔·加朵的脸替换成成人视频而制作的，但视频的真实程度却令人惊讶。

神奇女侠演员盖尔·加朵的假A.V

神奇女侠演员盖尔·加朵

接下来，随着一些媒体报道Deepfakes 制作换脸视频，越来越多的人涌入Reddit 观看，而Deepfakes 也不断制作新视频供大家娱乐。其中一位名叫deepfakeapp的用户甚至创建了一款视频换脸应用FakeApp，帮助不会编程的学生制作自己的换脸视频。于是，Reddit 上涌现出越来越多的优质作品。

神奇女侠演员盖尔·加朵的假AV 2

漫威黑寡妇演员斯嘉丽·约翰逊的假A.V

漫威黑寡妇演员斯嘉丽·约翰逊

哈利·波特和赫敏演员艾玛·沃特森的假A.V

哈利·波特赫敏演员艾玛·沃特森

随着视频制作门槛的降低，毫不奇怪，制作和观看“名人AV”的人数在2018年1月开始爆发，吸引了主流媒体和Reddit的关注。

Deepfakes 关键词的Google 趋势

这种在未经当事人同意的情况下在成人视频中使用该人肖像的做法是严重不道德的，随之而来的是很多批评。最后，Reddit 于2018 年2 月7 日禁止访问Deepfakes 和FakeApp 等多个相关版块，例如Deepfakes 版块。在巨大的舆论压力下。随着全网抵制，deepfakes的热度直线下降，但关于假AV的讨论却持续了几乎一整年。

Deepfakes 禁止页面

就在我写这篇文章的时候，《黑客新闻》的一位同学刚刚爆料：不登录的情况下访问Deepfakes 的GitHub 存储库将受到限制。但GitHub的规则一直是：无论用户是否登录，只要是公共仓库，任何人都可以访问和下载源代码。当然，deepfakes一直是公共仓库，而不是私人仓库。

受限制的Deepfakes Github 页面

对了，我在回顾Deepfakes 事件时还发现了一个有趣的发现：对这项技术最热衷的地区其实不是中国大陆，而是韩国，这让我有点惊讶。

什么！杨幂AI技术换脸视频曝光？ “DeepFake”技术堪比核武器！

Deepfakes 热图

模型结构

事实上，最初的deepfakes无论是流程还是模型都非常直观，逻辑上并不是很复杂。相信通过下面的简单介绍，您会对上面这句话有更好的理解。

这里用一句话介绍一下视频换脸的整体流程：视频换脸其实就是将每一帧中的人物图像的脸部进行替换，然后将转换后的图像与背景音效进行合成。这个过程非常直观，因此基本任务是替换图像中人脸。

那么我们简单介绍一下图像中人脸替换的整体流程：找到图像中的人脸区域，生成需要转换的人脸，并将转换后的人脸粘贴到原始图像上（记住“如何替换大象”）冰箱的问题？）。当然，想法简单并不意味着这些步骤没有技术含量。第一步，人脸检测，已经是一个非常成熟的技术，并且有很多开源工具可以实现，例如：dlib、MTCNN。人脸合成的最后一步也非常重要。主要影响替换后的真实程度，这将在后面的文章中体现。在这篇文章中，我们主要关注人脸转换过程，因此我们只介绍deepfakes中的人脸转换模型。

我们在《》中介绍了AutoEncoder，并提到了使用AutoEncoder来压缩图像。这实际上是流行的嵌入应用程序的原型。这里，也用到了AutoEncoder的技术。正如在“当我们谈论深度学习：自动编码器及其相关模型”中一样，我们利用编码器来提取输入图像的主要特征，并使用解码器来尝试恢复原始输入图像，即

当我们使用大量A人的人脸图像进行训练时，本质是从A人的面部中提取主要信息，并且这些信息足以恢复原始人脸图像。这篇博客的示意图可以说是非常形象了。

接下来的想法非常有趣：我们分别针对两个人A 和B 的面部图像学习上述AutoEncoder 网络。这两个网络共享编码器，但每个网络都有自己的解码器。换句话说，编码器可以同时提取A和B的面部特征（这意味着A和B提取的潜在特征类型一致），然后使用不同的解码器将提取的信息恢复为人脸。

最后是模型的核心：由于从人脸A和B中提取的潜在特征是相同类型的（例如器官位置、表情信息等），当我们将提取的A和B的潜在特征放入对方的解码器，没有区别。毫无疑问，恢复的应该还是一张人脸。然而，由于A的面部潜在特征被传递到B的解码器网络中，因此B的外观被恢复，但他具有A的表情，如下所示。

仅通过上述嵌入方法恢复的人脸可能在边缘存在大量噪声，并且在拟合回原始人脸时可能会出现明显的边缘。所以后来有了一个简单的改进：在学习人脸的同时，还学习了人脸边界掩模信息，用于将新人脸更好地贴合回旧图片。公式如下。原理比较简单，这里不再详细解释。

效果展示

这里我们使用李兰迪的头像进行测试（《你好，旧时光》中的形象还是很可爱的），原视频是主播阿冷弹唱《十年》的视频。目标是将阿冷视频中的头像替换为李兰迪的头像。以下是面部图像重建和转换的结果：第一列是李兰迪的表情，第二列是网络重建的李兰迪的脸部；第三栏是阿冷头像，第四栏是网络重构的阿冷头像。第五列是头像替换的结果（即李兰迪的解码器接在阿冷的编码器后面）。可以看到，面部部位的重建转换效果会非常好。

人脸重建和转换效果

具体视频转换结果如下。遗憾的是，虽然上面的人脸转换效果非常好，但由于与原图的拟合逻辑不是很完美，所以人脸上存在一些阴影，影响了最终的效果。让我们在这里举个例子。出来。

原创视频：主播阿冷弹唱

转换视频：主播“李兰迪”弹唱

总结

在闲聊的过程中，我也看到很多同学尝试优化和修改deepfakes模型，比如faceswap-GAN、DeepFaceLab等，有兴趣的同学可以继续关注。

尾巴