Up主已经开始鬼畜,腾讯开源「AniPortrait」让照片唱歌说话

AI最新资讯2个月前发布 tree
34 0 0

今日应用


今日话题


Up主已经开始鬼畜,腾讯开源AniPortrait」让照片唱歌说话
Up主已经开始鬼畜,腾讯开源「AniPortrait」让照片唱歌说话
 

重点标签 AniPortrait开源动画人像腾讯

文章摘要


Audio2Lmk 模块使用预训练的 wav2vec 来提取音频特征,并将其转换成 3D 人脸网格。该模块还采用了 transformer 解码器来解码姿势序列,使用交叉注意力机制整合音频特征。Lmk2Video 模块则利用 ReferenceNet 和 PoseGuider 来创建具有时间一致性的人像动画,同时保持与参考图像的外观一致性。

在实验中,AniPortrait 显示出了出色的动画质量和真实度。用户还可以编辑 3D 表征以对最终输出进行修改,实现面部重现效果。更多细节可以在原论文中找到。

[原文地址](https://arxiv.org/pdf/2403.17694.pdf)

文章来源


原文地址: 点我阅读全文
原文作者: 机器之心

© 版权声明

相关文章

暂无评论

暂无评论...