今日应用
今日话题
复刻Sora的通用视频生成能力,开源多智能体框架Mora来了
重点标签 视频生成、多智能体、AI智能体、Sora、Mora
文章摘要
摘要:
Mora 是一个由理海大学和微软研究院提出的多智能体框架,旨在复制 OpenAI 的 Sora 视频生成模型的能力。Mora 通过整合多个视觉 AI 智能体,成功模仿了 Sora 的多种视频生成任务,如文本到视频生成、图像到视频生成、视频编辑等。尽管 Mora 在各项任务中的表现接近 Sora,但整体评估时仍存在性能差距。研究团队希望 Mora 能够推动视频生成技术的发展。
视频生成效果:
Mora 在文本到视频生成任务中,根据输入的描述生成了高质量的视频。例如,输入描述一个充满活力的珊瑚礁,Mora 生成了一个水晶般清澈的蓝色海洋下,珊瑚礁充满生机的视频。在另一个例子中,描述一个金色的沙漠之城,Mora 生成了一个融合古埃及和未来元素的城市视频。
方法概述:
Mora 框架定义了五种基本角色的智能体,包括文本选择与生成、文本到图像、图像到图像、图像到视频和视频到视频智能体。这些智能体通过协作完成视频生成任务,如从文本提示生成图像、编辑或细化图像、从图像生成视频等。
实验评估:
Mora 在多个视频生成任务中的性能接近 Sora,尤其在文本到视频生成任务中表现突出。尽管在某些方面与 Sora 存在性能差距,但 Mora 作为一个开源模型,展现了强大的潜力和未来研究的可能性。
论文与项目链接:
– 论文链接:[https://arxiv.org/abs/2403.13248](https://arxiv.org/abs/2403.13248)
– 项目链接:[https://github.com/lichao-sun/Mora](https://github.com/lichao-sun/Mora)
文章来源
原文地址: 点我阅读全文
原文作者: 机器之心