人脸识别智能算法安全检测技术初探

公安部检测中心  白鑫  刘军  张翔  刘冬妮

 

在人脸识别智能安全领域，对抗、深度伪造技术的快速发展已经引起了社会的广泛关注。通过这些技术可以轻松地生成虚假的数字内容，从而对人脸识别系统进行攻击，这严重威胁了社会安全和公众隐私。为了应对这些威胁，对抗、深度伪造技术逐渐成为了计算机视觉领域中的难点与研究热点。本文首先阐述了对抗、深度伪造技术的研究背景和技术原理，然后对现有的攻击检测方案进行系统总结，最后分析探讨了现有检测技术面临的挑战和潜在研究方向，并对未来技术发展进行展望。

 

1 背景

近年来，以深度学习算法为代表的人工智能技术飞速发展，并在以人脸识别为代表的多个领域取得了巨大突破，其技术不断运用于居民的日常生活中，包括电子身份认证、门禁人脸认证等，为大家的日常生活带来了很多便利。但是人脸识别^[1]运用也是一把双刃剑，基于人工智能生成对抗网络（GAN）和自编码器（Auto-Encoder）等算法的对抗、深度伪造技术，通过生成虚假数字内容来攻击人工智能系统，给日常生活和社会稳定带来巨大隐患，引起了大家的广泛关注。

人脸对抗样本技术是指通过对真实的人脸数据添加一些人类难以感知到的或者不影响人类主观感知判断的扰动^[2]，从而对人工智能人脸识别、检测算法产生影响，导致以深度学习算法为核心的识别、检测等系统判断出错。

人脸深度伪造技术是一种基于深度学习的人工智能技术，通过自编码器等深度生成模型，将人脸、声音等原始数据进行学习和模拟，从而生成逼真的虚假数据。其中，以DeepFake为代表的人脸深度伪造技术是最为常见的深度伪造技术之一，可以生成高质量的虚假人脸图像和视频，并可以对这些图像和视频进行多种编辑，如更改表情、口型、头部姿态等，使得伪造的内容更加逼真，引发了广泛的社会关注和讨论。

尽管对抗、深度伪造技术在一定程度上可以为人类带来许多便利和娱乐，例如在影视制作、游戏开发等领域中的应用，但它也给人类社会带来了前所未有的安全威胁和挑战。例如，利用深度伪造技术，不良分子可以制作虚假的视频、声音等，从而误导公众或实施诈骗、恶意攻击等违法犯罪行为，对公众隐私、生命财产安全和社会稳定带来威胁。

 

2 人脸对抗样本生成与检测

2.1 人脸对抗样本生成技术

人脸对抗样本生成技术是指通过特殊的算法和模型，以一种欺骗性的方式生成人脸图片，使得这些图片可以骗过计算机视觉系统。对抗样本是通过对原始数据进行微小修改或添加扰动的方式，使得计算机视觉系统对这些数据的分类结果产生错误。人脸对抗样本生成技术可以生成一些看起来与真实人脸非常相似的图片，但是这些图片经过一定的修改和扰动后，可以被计算机视觉系统误判为其他类别的图片，例如将一个人的面部图像误判为其他人的面部图像，或者将一个正常的面部图像误判为病态的面部图像。

人脸对抗样本生成技术的应用场景包括对人脸识别系统的攻击和测试，以及对计算机视觉系统的安全性进行评估。此外，人脸对抗样本生成技术也可以应用于虚拟现实、人机交互和艺术创作等领域。

人脸对抗样本生成技术的实现方式主要有以下几种:

（1）基于生成对抗网络 (GAN)的方法：这个方法使用一对相互竞争的神经网络，一个生成器和一个判别器，经过多次迭代训练，得到具有欺骗性的对抗样本。生成器生成假的人脸图像，判别器则尝试区分真实图像和生成图像，生成器通过学习判别器的反馈来不断改进生成图像的质量，以达到更好的欺骗效果。

（2）基于迁移学习的方法：这种方法使用训练好的深度神经网络，如VGG、Inception等在原有模型的基础上添加对抗性损失函数，并对图像进行微小修改，逐步迭代优化生成对抗样本。

人脸对抗样本生成技术也存在一些问题和挑战，如生成的对抗样本存在视觉差异，容易被人眼识别出来，同时也可能存在无法生成对抗样本的情况。此外，对抗样本攻击可能会导致人脸识别系统的误判率大幅提高，对系统的安全性带来威胁。因此，如何应对对抗样本攻击提高人脸识别系统的鲁棒性，是未来研究的重点之一。

2.2 人脸对抗样本检测技术

由于人脸对抗样本生成技术的存在，可能会对人脸识别系统的鲁棒性和安全性造成威胁。因此。研究人员和安全专家们也在致力于开发相应的对抗样本检测方法来应对此类攻击。

人脸对抗样本的检测方法主要可以分为以下几类：

（1）基于特征的检测方法：这种方法主要通过分析样本的特征来检测对抗样本。例如，利用模型中的中间层特征进行分析，探测出对抗样本与真实样本之间的差异。然后将这些特征用于训练一个分类器，通过分类器来判断输入的样本是否是对抗样本。

（2）基于可解释性的检测方法：这种方法利用对抗样本的生成过程，通过对生成过程的解释，来检测对抗样本。例如，可以通过分析生成器的梯度信息，或者探测生成器的噪音输入来识别对抗样本。

（3）基于统计的检测方法：这种方法通过对样本集合进行统计分析，来判断是否存在对抗样本。例如，通过计算样本集的均值、方差等统计量，检测是否存在离群点，以此判断是否存在对抗样本。

（4）基于敌对训练的检测方法：这种方法是在训练阶段使用对抗样本进行训练，以提高模型的鲁棒性。在测试阶段，对使用敌对训练的模型进行评估，以判断是否存在对抗样本。

 

3 人脸深度伪造生成与检测

3.1 人脸深度伪造生成技术

人脸深度伪造技术^[3]可以实现包含人脸替换（Face Swap）和面部重演（Face Reenactment）等多种功能。人脸替换是当前最流行的视觉深度伪造方法之一，可以通过将视频中目标人物的脸替换成另一个人的脸来生成假视频，这种技术被广泛应用于深度伪造工具中。面部重演技术可以根据源人脸图像的身份信息和驱动信息（如嘴型、表情和姿态）来合成新的说话人图像或视频^[4]。深度伪造人脸表情的操作攻击是指攻击者使用面部重演技术，操纵受害者的表情或嘴型，来伪造受害者在真实场景下的虚假面部表情。例如，通过改变奥巴马的表情和动作，攻击者可以制作虚假演讲视频。目前，Face2Face等技术是比较流行的深度伪造人脸表情修改方法，可以实现不同情绪和表情的修改，面部重演模型整体流程如图1所示^[5]。

 

3.2 人脸深度伪造检测技术

深度伪造表情操作攻击检测技术主要包括数据预处理、算法模型设计、模型训练等步骤。首先需要将待检测的图像或视频数据进行预处理^[6]，并根据先验知识或图像处理的手段进行进一步设计。然后设计相应算法提取出鉴别真假的特征，并构建与检测目标相匹配的深度神经网络模型^[7]。最后将待检测的视频或图像输入到训练好的算法模型中进行性能测试，进而验证所设计的深度伪造检测模型的有效性。在此过程中，决定检测性能的关键是如何选择有效区分真假表情的相关特征^[8]，图2展示了检测算法的具体流程。

 

不同的表情操作攻击检测方法体现在检测算法流程中的侧重点不同，可以将目前的检测方案分为三类。

 

3.2.1基于数据驱动的深度伪造表情攻击检测技术

优秀的网络设计能更加有效地提取真伪表情之间的细微特征和差异信息^[9]。部分技术手段没有把重点聚焦于某一个特殊的伪造算法上，而是把神经网络训练成通用的分类器^[10]，如图3所示，该技术让神经网络来决定聚焦于输入数据的哪些特性，从而判断真伪。

3.2.2基于信息不一致的深度伪造表情攻击检测技术

研究发现不同人在说话时，面部表情和头部运动存在明显的模式差异。而在目前现有的伪造方式中都对这种模式造成了破坏，即视频中的人脸区域发生了篡改，导致人物说话时面部表情和头部运动的模式与人物身份不相符。可以通过基于听觉和视觉情感特征不一致的检测方法，即同时从音频和视频中提取情感特征，以此来检测输入视频真伪。 

3.2.3基于GAN图像特征的深度伪造表情攻击检测技术

研究发现GAN生成技术改变了图像的像素和色度空间统计特征，可以通过学习特征共生矩阵来区分生成图像的差异。Wang (2019) 等人提出FakeSpotter^[11]，利用神经元监控的方法来进行分类，基于神经元监控的图像真伪分类方法，通过覆盖神经元并观察真伪图像经过人脸识别器中的神经元激活变化情况，利用SVM学习神经元激活的差异，从而区分真伪图像。在假的人脸或表情中，神经元覆盖的行为表现出相似性。

 

4 结语

总的来说，人脸对抗、深度伪造样本的检测方法还处于不断发展和完善中，未来需要结合多种方法，不断提高对抗样本检测的准确性和鲁棒性，通过对大量数据集以及服务器资源进行训练，来获得更加高效的数据驱动算法。

大多数已有的检测算法通常是在单一的测试场景下进行的，现实世界中常常面临多种噪声干扰，图像失真等复杂情况。且部分检测方法容易依赖特定的数据集和生成算法，泛化能力弱。需要我们探索尽可能多的伪造类型，寻找共性特征，探索不同数据预处理对检测算法性能的影响，进而进一步增强模型的鲁棒性和泛化性以应对人脸识别系统面临的各种安全挑战。

 

参考文献

[1]梁杰. 面向人脸识别的对抗样本攻击模型研究与应用[D]. 贵州大学,2022 .

[2]潘文雯，王新宇，宋明黎，陈纯.对抗样本生成技术综述[J]. 软件学报, 2020. 31(1): 67-81.

[3]李旭嵘，纪守领等.深度伪造与检测技术综述[J]. 软件学报, 2021. 32(2): 496-518.

[4]蔺琛皓，沈超，邓静怡等.虚假数字人脸内容生成与检测技术[J]. 计算机学报, 2023. 46(3): 469-498.

[5]赵超.AI换脸技术的法律风险评估—从APP“ZAO”谈起[J]. 江苏工程职业技术学院学报, 2020. 20(01): 103-108.

[6]黄怿豪.深度伪造图像的精细化与检测研究[D], 华东师范大学,2022 .

[7]Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[J]. ar Xiv preprint ar Xiv: 2014,1409.1556.

[8]Thies J, Zollhofer M, Stamminger M, Theobalt C, Niebner M. Face2face: Real-time face capture and reenactment of rgb videos[C]Proceedings of the IEEE conference on computer vision and pattern recognition. 2016,2387-2395.

[9]Schmidhuber J. Deep learning in neural networks:An overview[J].Neural Networks, 2015, 61:85-117.

[10]Nilsson NJ. Principles of artificial intelligence.Berlin, Germany:Springer Science&Business Media.1982.

[11]李嵘,纪守领,吴春明等.深度伪造与检测技术综述[J].软件学报,2020,32(2):496-518.