单镜头16秒720p高清视频一键生成,开源版Sora又有新惊喜了

AI最新资讯4周前发布 tree
21 0 0

今日应用


今日话题


单镜头16秒720p高清视频一键生成,开源版Sora又有新惊喜了
单镜头16秒720p高清视频一键生成,开源版Sora又有新惊喜了
 

重点标签 视频生成开源社区技术突破数字乐高创新激情

文章摘要


LambdaLabs 基于潞晨团队先前开源的 Open-Sora 模型权重打造了一个数字乐高宇宙,乐高迷们在这里找到了极致的创意体验。潞晨团队深谙开源对于文生视频技术突破的加速度,他们不仅持续开源模型权重,还在 Github 上晒出了技术路线,让每个玩家都能成为文生视频大模型的掌控者。

在潞晨 OpenSora 团队发布的技术报告中,他们深度剖析了本次模型训练的核心和关键。在上一个版本基础上,引入了视频压缩网络(Video Compression Network)、更优的扩散模型算法、更多的可控性,并利用更多的数据训练出了 1.1B 的扩散生成模型。他们提出了一个创新的视频压缩网络(VAE),该网络在空间和时间两个维度上分别进行压缩,既避免了因抽帧而牺牲视频流畅度的弊端,又大幅降低了训练成本。

Stable Diffusion 3,最新的扩散模型,通过采用了 rectified flow 技术替代 DDPM,显著提升了图片和视频生成的质量。潞晨 Open-Sora 团队已经基于 SD3 的研究成果,提供了一套完整的训练解决方案,包括简单易用的整流(rectified flow)训练、用于训练加速的 Logit-norm 时间步长采样、基于分辨率和视频长度的时间步长采样等。

潞晨 Open-Sora 的开源,为文生视频的创新和发展注入了强劲的活力。访问他们的 github 地址,即可零门槛免费获得模型权重和全套训练代码,使用户从被动的内容消费者转变为积极的内容创造者。这一转型为企业用户解锁了自主开发文生视频应用的新技能,无论是打造沉浸式游戏、创意广告还是制作影视大片,文生视频技术的应用场景得到了指数级扩展。

最后附上潞晨 OpenSora 开源链接:https://github.com/hpcaitech/Open-Sora

技术报告摘要:
– 引入视频压缩网络(VAE),在空间和时间两个维度上进行压缩,优化成本与质量。
– Stable Diffusion 3 采用 rectified flow 技术,提升生成质量。
– 提供整流训练、Logit-norm 时间步长采样、基于分辨率和视频长度的时间步长采样等训练解决方案。
– 支持一键部署的 Gradio 应用,可调节输出参数,支持中文输入。

参考链接:
– https://wandb.ai/lambdalabs/lego/reports/Text2Bricks-Fine-tuning-Open-Sora-in-1-000-GPU-Hours–Vmlldzo4MDE3MTky
– https://hpc-ai.com/blog/open-sora-from-hpc-ai-tech-team-continues-open-source-generate-any-16-second-720p-hd-video-with-one-click-model-weights-ready-to-use

文章来源


原文地址: 点我阅读全文
原文作者: 机器之心

© 版权声明

相关文章

暂无评论

暂无评论...