多项改进实现规模空前的连续时间一致性模型。
论文标题:Simplifying, Stabilizing & Scaling Continuous-Time Consistency Models 论文地址:https://arxiv.org/pdf/2410.11081v1
TrigFlow,一个将 EDM(arXiv:2206.00364)与流匹配(Flow Matching)统一起来的公式,其能极大简化扩展模型、相关的概率流 ODE 和一致性模型(CM。 在此基础上,他们分析了一致性模型训练不稳定的根本原因,并提出了一种完整的缓解方案。他们的方法包括改进网络架构中的时间调节和自适应分组归一化。 此外,他们还重新构建了连续时间 CM 的训练目标,其中整合了关键项的自适应加权和归一化以及渐进退火,以实现稳定且可扩展的训练。
© THE END
转载请联系本公众号获得授权
投稿或寻求报道:liyazhou@jiqizhixin.com
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...