用对抗样本提升持续性Deepfake检测的灾难遗忘

论文地址：https://link.springer.com/article/10.1007/s11263-024-02160-1

代码：https://github.com/skJack/HDP

太长不看：

Motivation：

在这个AIGC的时代，Deepfake的滥用已经严重危害了社会安定，例如前段时间的韩国Deepfake N号房事件引起了很大的社会反响。所以如何准确的，高泛化的检测出伪造人脸是可信人工智能一个很重要的问题。现有的人脸伪造检测方法在面对新型攻击时往往表现不佳,难以适应快速进步的伪造技术。为解决这一问题,本文提出了一种创新的持续性人脸伪造检测(CFFD)方法,旨在建立一个能够不断学习和适应新型攻击的检测系统。

设定：

研究团队提出了CFFD任务设定,模拟现实世界中检测模型需要持续应对新型伪造技术的场景。在这个设定下,模型需要在学习新的伪造类型的同时,保持对先前伪造类型的检测能力,避免”灾难性遗忘”问题。

方法：

为解决CFFD任务,研究团队开发了创新的历史分布保持(HDP)框架。该框架的核心思想是:

1. 利用通用对抗扰动(UAP)技术捕获和保存历史伪造分布的特征。
2. 通过将UAP与真实人脸图像结合,生成模拟历史伪造数据。
3. 采用知识蒸馏技术,在不同阶段的模型之间保持真实人脸的分布特征。这种方法能够在最小化存储开销的同时,有效保留对历史伪造类型的检测能力,同时适应新的攻击方式。

实验:

研究团队在多个公开数据集上进行了广泛实验,包括FaceForensics++、Celeb-DF、DFDC和Wild-Deepfake等。实验结果表明:

1. HDP框架在准确率和抗遗忘能力上均显著优于现有技术。
2. 在不使用额外存储的情况下,HDP的性能超过了需要大量存储的对比方法。
3. HDP框架可以无缝集成到现有的多种人脸伪造检测系统中,显著提升它们的持续学习能力。

设定：

为了模拟现实世界中人脸伪造检测系统面临的挑战,研究团队提出了持续性人脸伪造检测(CFFD)任务。这个设定包含以下关键特点:

1. 序列性学习: 检测模型需要按顺序学习不同类型的人脸伪造技术,模拟现实中新型伪造方法不断出现的情况。
2. 有限访问历史数据: 模型在学习新的伪造类型时,无法完全访问之前阶段的训练数据。这反映了实际应用中存储和计算资源的限制,以及数据隐私保护的需求。
3. 多阶段评估: 研究团队设计了三种不同的评估协议:

• 协议1: 使用FaceForensics++数据集的四个子集,模拟相似域内不同伪造技术的持续学习。
• 协议2: 利用四个不同的数据集(FaceForensics++, Celeb-DF, Wild-Deepfake, DFDC),引入更大的域间差异。
• 协议3: 设置10个学习阶段,综合使用多个数据集,测试模型在长序列学习中的表现。

方法：

为了解决CFFD任务中的核心挑战,研究团队提出了创新的历史分布保持(Historical Distribution Preserving, HDP)框架。HDP的核心思想是在学习新的伪造类型时,有效保留历史伪造分布的特征。该框架主要由保留机制和保存机制两部分组成：保留机制(Reserve Mechanism)和保存机制(Preserve Mechanism)。框图如下图所示。

保留机制：在保留机制中,HDP利用通用对抗扰动(Universal Adversarial Perturbation, UAP)技术捕获历史伪造分布的特征。对于每个学习阶段,框架会生成一个UAP,作为该阶段伪造类型的特征表示。UAP的生成过程采用梯度下降技术,通过最小化真实样本与伪造标签之间的熵来实现。这个过程不仅捕获了伪造特征,还大大降低了存储需求。

保存机制：在新的学习阶段,保存机制将发挥作用。它将生成的UAP与真实人脸图像结合,创建伪伪造样本(pseudo-forged samples)。这些样本用于模拟历史伪造分布,使模型能够”回忆”先前学习的知识。同时,HDP采用特征级知识蒸馏技术,在不同学习阶段的模型之间保持真实人脸的分布特征。

HDP框架的优化过程综合考虑了多个因素,设计了一个联合损失函数。这个函数包含基础训练损失、伪伪造样本的熵优化、以及真实和伪伪造特征的蒸馏损失。通过这种联合优化,模型能够在学习新知识的同时有效保留历史知识。

值得注意的是,HDP框架设计为可以无缝集成到现有的人脸伪造检测系统中。实验证明,将HDP应用于多种最先进的检测方法都能显著提升它们的持续学习能力,而不会增加额外的推理时间和计算复杂度。这种灵活性和高效性使HDP在实际应用中具有巨大潜力。

实验：

为了全面评估HDP框架的性能,研究团队在多个公开数据集上进行了广泛实验。实验使用了FaceForensics++、Celeb-DF、DFDC和Wild-Deepfake等数据集,涵盖了各种人脸伪造技术。实验遵循前文提到的三种评估协议,模拟了不同的持续学习场景。

如下表所示,HDP在各项指标上都显著优于比较方法。特别是在PRE指标上,HDP比基线方法SFT提高了约27%,展现了出色的抗遗忘能力。

为了更直观地展示HDP框架的效果,研究团队进行了一系列可视化实验。首先,下图展示了不同攻击方法生成的UAP可视化结果。我们可以清晰地看到,不同阶段的UAP呈现出独特的模式,这证实了UAP能够有效捕获各种伪造技术的特征。

更重要的是,研究者们通过t-SNE技术对特征分布进行了可视化,如下图所示。这个图直观地展示了在持续学习过程中,基线方法(SFT)和HDP方法的特征分布变化。从图中我们可以观察到三个关键点:首先,对于Baseline模型,随着学习阶段的推进,先前伪造特征与真实特征的重叠越来越明显,这清晰地展示了灾难性遗忘现象。相比之下,HDP方法在每个阶段都保持了先前伪造特征与真实特征之间的明显决策边界,证明了其出色的抗遗忘能力。

公众号后台回复“数据集”获取100+深度学习各方向资源整理