古有照妖镜今有换脸识别机 微软CVPR 2020力作让伪造人脸无处遁形

3.通过上述第一个公式得到混合后的图像，然后根据第二个公式得到混合边界在实践中，会随着训练过程进行动态生成标签数据，并以自我监督的方式训练框架。所以，仅仅在真实图像层面上进行操作就可以产生大量的训练数据。

在训练过程中，由于深度学习具有极强的表征学习能力，所以研究人员采用了基于卷积神经网络的框架。其中输入为图像，输出为Face X-Ray，然后基于预测的Face X-Ray，输出一个图像是否真实的混合概率。另外，对预测采用的是广泛使用的损失函数。对于Face X-Ray，采用交叉熵损失来衡量预测的准确性。总的来说，Face X-Ray不需要依赖于与特定人脸操作技术相关的伪影知识，并且支持它的算法可以在不使用任何方法生成假图像的情况下进行训练。

三、实验

在实验部分，研究人员在Face Forensics++和另一个包含由真实图像构建的混合图像的训练数据集上训练了Face X-Ray，训练只采用数据库里的“真图”，不使用假图。其中，Face Forensics++是一个包含1000多个用四种最先进的面部操作方法操作的原始剪辑的大型视频语料库，包括DeepFake、Face2Face、Face Swap、NeuralTextures。

在测试部分评估了Face X-Ray使用四个数据集的泛化能力。这四个数据集包括：Face Forensics++、Deepfakedetection、Deepfake Detection Challenge、celeb-DF。

泛化能力评估

首先使用与Xception相同的训练集和训练策略来评估Face X-Ray检测模型。为了得到准确的Face X-Ray图像，将真实图像作为背景，将换脸的图像作为前景，给出一对真图像和假图像。为了公平比较，还给出了二元类的结果。结果如下图所示：

泛化能力评价，在未知的换脸检测中，仅使用分类器会导致性能下降。

另外，也对泛化能力进行了改进，其改进主要来自两个部分：1.建议检测Face X-Ray而不是操作特有的伪影。2.从真实的图像中构建大量的训练样本。结果显示仅使用自监督数据，也能够达到很高的检测精度。

未知数据集的基准结果

从最近发布的大规模数据集上测试，然后从AUC、AP和EER三个方面给出结果。如下图所示框架比基准的性能更好。如果使用其他的换脸图像，即使与测试集有不同的分布，性能也会有所提高。

下图给出了各种类型的换脸图的视觉示例，通过计算伪面与真实图像之间的差异，然后转化为灰度，进行归一化之后从而获得基本事实。如下图所示，预测Face X-Ray能够较好的反映事实。

算法预测出的融合边界

与现在的工作进行对比

最近的一些相关工作也注意到了泛化问题，并在一定程度上试图解决这一问题。FWA还采用了一种自我监督的方式，从真实图像中创建负片样本。然而，它的目标只是描述只存在于DeepFake生成的视频中的面部扭曲伪影。

Table3~Table5为图示，请自动忽略Table6

上表中的其他工作都试图学习固有表示，以及同时进行MTDS学习检测和定位。进过比较Face X-ray有超过了现有的SOTA。

对拟议框架的分析（Analysis of the proposed framework）

自监督数据生成中数据增强的总体目标是提供大量不同类型的混合图像，以使模型具有检测各种篡改图像的能力。

（编辑：衢州站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!