复刻Sora的通用视频生成能力，开源多智能体框架Mora来了

今日应用

趣问问ai

趣问问ai | 你的生活工作好帮手-收集日常最好用的提示词，简化/提升你的工作效率,为各行业的内容创作者提供全面准确的提示语，帮助用户高效的和AI对话，以期在最短时间、最短路径达成内容创作目标。爱写作AI智能写作支持文本自动生成,提供聚合自动写作和辅助创作能力,融合多种NLP处理技术,做更懂你的智能创作平台。

今日话题

复刻Sora的通用视频生成能力，开源多智能体框架Mora来了

 

重点标签 视频生成、多智能体、AI智能体、Sora、Mora

文章摘要

摘要：
Mora 是一个由理海大学和微软研究院提出的多智能体框架，旨在复制 OpenAI 的 Sora 视频生成模型的能力。Mora 通过整合多个视觉 AI 智能体，成功模仿了 Sora 的多种视频生成任务，如文本到视频生成、图像到视频生成、视频编辑等。尽管 Mora 在各项任务中的表现接近 Sora，但整体评估时仍存在性能差距。研究团队希望 Mora 能够推动视频生成技术的发展。

视频生成效果：
Mora 在文本到视频生成任务中，根据输入的描述生成了高质量的视频。例如，输入描述一个充满活力的珊瑚礁，Mora 生成了一个水晶般清澈的蓝色海洋下，珊瑚礁充满生机的视频。在另一个例子中，描述一个金色的沙漠之城，Mora 生成了一个融合古埃及和未来元素的城市视频。

方法概述：
Mora 框架定义了五种基本角色的智能体，包括文本选择与生成、文本到图像、图像到图像、图像到视频和视频到视频智能体。这些智能体通过协作完成视频生成任务，如从文本提示生成图像、编辑或细化图像、从图像生成视频等。

实验评估：
Mora 在多个视频生成任务中的性能接近 Sora，尤其在文本到视频生成任务中表现突出。尽管在某些方面与 Sora 存在性能差距，但 Mora 作为一个开源模型，展现了强大的潜力和未来研究的可能性。

论文与项目链接：
– 论文链接：[https://arxiv.org/abs/2403.13248](https://arxiv.org/abs/2403.13248)
– 项目链接：[https://github.com/lichao-sun/Mora](https://github.com/lichao-sun/Mora)

文章来源

原文地址: 点我阅读全文
原文作者: 机器之心