复刻Sora的通用视频生成能力,开源多智能体框架Mora来了

AI最新资讯6个月前发布 tree
79 0 0

今日应用


今日话题


复刻Sora的通用视频生成能力,开源多智能体框架Mora来了
复刻Sora的通用视频生成能力,开源多智能体框架Mora来了
 

重点标签 视频生成多智能体AI智能体SoraMora

文章摘要


摘要:
Mora 是一个由理海大学和微软研究院提出的多智能体框架,旨在复制 OpenAI 的 Sora 视频生成模型的能力。Mora 通过整合多个视觉 AI 智能体,成功模仿了 Sora 的多种视频生成任务,如文本到视频生成、图像到视频生成、视频编辑等。尽管 Mora 在各项任务中的表现接近 Sora,但整体评估时仍存在性能差距。研究团队希望 Mora 能够推动视频生成技术的发展。

视频生成效果:
Mora 在文本到视频生成任务中,根据输入的描述生成了高质量的视频。例如,输入描述一个充满活力的珊瑚礁,Mora 生成了一个水晶般清澈的蓝色海洋下,珊瑚礁充满生机的视频。在另一个例子中,描述一个金色的沙漠之城,Mora 生成了一个融合古埃及和未来元素的城市视频。

方法概述:
Mora 框架定义了五种基本角色的智能体,包括文本选择与生成、文本到图像、图像到图像、图像到视频和视频到视频智能体。这些智能体通过协作完成视频生成任务,如从文本提示生成图像、编辑或细化图像、从图像生成视频等。

实验评估:
Mora 在多个视频生成任务中的性能接近 Sora,尤其在文本到视频生成任务中表现突出。尽管在某些方面与 Sora 存在性能差距,但 Mora 作为一个开源模型,展现了强大的潜力和未来研究的可能性。

论文与项目链接:
– 论文链接:[https://arxiv.org/abs/2403.13248](https://arxiv.org/abs/2403.13248)
– 项目链接:[https://github.com/lichao-sun/Mora](https://github.com/lichao-sun/Mora)

文章来源


原文地址: 点我阅读全文
原文作者: 机器之心

© 版权声明

相关文章

暂无评论

暂无评论...