ECCV’24｜Arc2Face：身份条件化的人脸生成基础模型，高一致性高质量的AI人脸艺术风格照生成

今日应用

微软 – Azure文本转语音

微软Azure语音合成 - 将文本转化为自然流畅的语音，为您的应用程序提供更强大、更人性化的用户体验！

今日话题

ECCV’24｜Arc2Face：身份条件化的人脸生成基础模型，高一致性高质量的AI人脸艺术风格照生成

 

重点标签 Arc2Face、人脸合成、高质量、ArcFace嵌入、微调

文章摘要

Arc2Face是一种创新的人脸合成基础模型，它通过将人脸特征映射到稳定扩散模型（SD）的编码空间，实现了文本编码器到专门定制的人脸编码器的转换。该模型利用ArcFace嵌入，生成多样化且逼真的人脸图像，其相似度超越了现有的FaceSwap和InstantID等模型。Arc2Face的设计理念是强调人脸识别（FR）特征的紧凑性，以捕捉人脸的本质，而非依赖手工制作的文本提示。

在方法上，Arc2Face采用了预训练的稳定扩散模型作为先验，并以ID向量为条件进行适应性调整。模型使用CLIP文本编码器来指导图像合成，通过将ArcFace嵌入投影到CLIP嵌入空间中，实现了对UNet生成能力的直接利用。为了确保兼容性，使用了简单的提示“一个人的照片”，并通过微调编码器，使其专注于ID向量，忽略无关的上下文信息。

在数据集方面，Arc2Face使用了WebFace42M，这是最大的人脸识别公共数据集之一。为了解决原始数据集的低分辨率和紧面部裁剪问题，使用GFPGAN对数据进行了上采样和放大处理。此外，还在FFHQ和CelebA-HQ数据集上进行了进一步的微调，以生成更高质量和更完整的人脸图像。

实验结果显示，Arc2Face在定量比较和可视化比较中均表现出色，且在不同合成方法的FR模型准确率比较中也取得了显著的优势。这证明了Arc2Face在人脸合成领域的潜力和应用价值。

此外，文章还提供了技术专栏、技术综述和极视角动态等资源，为读者提供了丰富的技术干货和行业动态。通过点击阅读原文，读者可以进入CV社区，获取更多的技术信息和交流机会。

文章来源

原文地址: 点我阅读全文
原文作者: 极市平台