没等来OpenAI，等来了Open-Sora全面开源

今日应用

即创

即创专注于智能创意生产与管理分析，同时兼容开放生态，提供视频创作、图文生成、直播工具等多种场景服务，帮助客户解锁创意生产力、携手服务商激发创新，撬动多元供给，助力商业化经营。

今日话题

没等来OpenAI，等来了Open-Sora全面开源

 

重点标签 OpenAI、Sora、Colossal-AI、Open-Sora 1.0、视频生成

文章摘要

Open-Sora 1.0是由Colossal-AI团队全面开源的全球首个类Sora架构视频生成模型。该模型包括整个训练流程、数据处理、所有训练细节和模型权重，旨在与全球AI爱好者共同推进视频创作的新纪元。Open-Sora 1.0模型生成的视频展示了都市繁华掠影，模型架构基于Diffusion Transformer (DiT)，并引入时间注意力层。模型训练和推理流程包括预训练好的VAE、文本编码器和STDiT模型。Colossal-AI团队提供了详细的上手教程和数据预处理脚本，降低了Sora复现的技术门槛。

Sora复现方案包括三个阶段：大规模图像预训练、大规模视频预训练和高质量视频数据微调。数据预处理脚本支持公开视频数据集下载、视频分割和提示词生成。模型生成效果包括悬崖海岸边的航拍画面、山川瀑布鸟瞰画面、水中世界的海龟镜头和延时摄影的银河。作者团队计划持续优化Open-Sora项目，使用更多视频训练数据以生成更高质量、更长时长的视频内容，并支持多分辨率特性。

Colossal-AI加速系统为Sora复现提供了高效训练加持，通过算子优化和混合并行策略实现加速效果。STDiT模型架构在训练时展现出高效性，与全注意力机制的DiT相比，实现了高达5倍的加速效果。Open-Sora 1.0的开源地址为https://github.com/hpcaitech/Open-Sora，作者团队鼓励感兴趣的朋友关注开源社区以获取最新动态和体验模型权重。

文章来源

原文地址: 点我阅读全文
原文作者: 机器之心