今日应用
今日话题
单镜头16秒720p高清视频一键生成，开源版Sora又有新惊喜了
文章摘要
LambdaLabs 基于潞晨团队先前开源的 Open-Sora 模型权重打造了一个数字乐高宇宙，乐高迷们在这里找到了极致的创意体验。潞晨团队深谙开源对于文生视频技术突破的加速度，他们不仅持续开源模型权重，还在 Github 上晒出了技术路线，让每个玩家都能成为文生视频大模型的掌控者。
在潞晨 OpenSora 团队发布的技术报告中，他们深度剖析了本次模型训练的核心和关键。在上一个版本基础上，引入了视频压缩网络（Video Compression Network）、更优的扩散模型算法、更多的可控性，并利用更多的数据训练出了 1.1B 的扩散生成模型。他们提出了一个创新的视频压缩网络（VAE），该网络在空间和时间两个维度上分别进行压缩，既避免了因抽帧而牺牲视频流畅度的弊端，又大幅降低了训练成本。
Stable Diffusion 3，最新的扩散模型，通过采用了 rectified flow 技术替代 DDPM，显著提升了图片和视频生成的质量。潞晨 Open-Sora 团队已经基于 SD3 的研究成果，提供了一套完整的训练解决方案，包括简单易用的整流（rectified flow）训练、用于训练加速的 Logit-norm 时间步长采样、基于分辨率和视频长度的时间步长采样等。
潞晨 Open-Sora 的开源，为文生视频的创新和发展注入了强劲的活力。访问他们的 github 地址，即可零门槛免费获得模型权重和全套训练代码，使用户从被动的内容消费者转变为积极的内容创造者。这一转型为企业用户解锁了自主开发文生视频应用的新技能，无论是打造沉浸式游戏、创意广告还是制作影视大片，文生视频技术的应用场景得到了指数级扩展。
最后附上潞晨 OpenSora 开源链接：https://github.com/hpcaitech/Open-Sora
技术报告摘要：
– 引入视频压缩网络（VAE），在空间和时间两个维度上进行压缩，优化成本与质量。
– Stable Diffusion 3 采用 rectified flow 技术，提升生成质量。
– 提供整流训练、Logit-norm 时间步长采样、基于分辨率和视频长度的时间步长采样等训练解决方案。
– 支持一键部署的 Gradio 应用，可调节输出参数，支持中文输入。
参考链接：
– https://wandb.ai/lambdalabs/lego/reports/Text2Bricks-Fine-tuning-Open-Sora-in-1-000-GPU-Hours–Vmlldzo4MDE3MTky
– https://hpc-ai.com/blog/open-sora-from-hpc-ai-tech-team-continues-open-source-generate-any-16-second-720p-hd-video-with-one-click-model-weights-ready-to-use
文章来源
原文地址: 点我阅读全文
原文作者: 机器之心
相关文章
