Up主已经开始鬼畜，腾讯开源「AniPortrait」让照片唱歌说话

今日应用

TheFuture书籍搜索

TheFuture书籍搜索是为读书爱好者们打造的电子书搜索引擎，只需输入书名即可快速找到想看的书籍，让获取书籍变得简单快捷！让知识触手可及

今日话题

Up主已经开始鬼畜，腾讯开源「AniPortrait」让照片唱歌说话

 

重点标签 AniPortrait、开源、动画、人像、腾讯

文章摘要

Audio2Lmk 模块使用预训练的 wav2vec 来提取音频特征，并将其转换成 3D 人脸网格。该模块还采用了 transformer 解码器来解码姿势序列，使用交叉注意力机制整合音频特征。Lmk2Video 模块则利用 ReferenceNet 和 PoseGuider 来创建具有时间一致性的人像动画，同时保持与参考图像的外观一致性。

在实验中，AniPortrait 显示出了出色的动画质量和真实度。用户还可以编辑 3D 表征以对最终输出进行修改，实现面部重现效果。更多细节可以在原论文中找到。

[原文地址](https://arxiv.org/pdf/2403.17694.pdf)

文章来源

原文地址: 点我阅读全文
原文作者: 机器之心