今日应用
今日话题
ControlNet作者又出爆款！一张图生成绘画全过程，两天狂揽1.4k Star
重点标签 PaintsUndo、AI绘画、图像处理、视频生成、技术革新
文章摘要
摘要：
最近，一个名为PaintsUndo的AI视频生成项目引起了广泛关注。这个由ControlNet作者Lvmin Zhang开发的新项目，通过用户上传的静态图像，能够自动生成整个绘画过程的视频，包括线稿、上色等各个阶段，最终生成的视频与原图极为相似。PaintsUndo不仅能够处理单一图像风格，还能根据不同类型的图像生成相应的绘画过程视频。尽管在处理复杂构图时存在一些困难，但项目仍在不断完善中。
PaintsUndo的强大功能得益于其背后的一系列模型，这些模型能够以图像为输入，输出绘制序列，复现人类绘画过程中的各种行为，如素描、上墨、着色等。项目的本地部署过程也非常简单，只需几行代码即可完成。
在模型方面，PaintsUndo使用了Nvidia 4090和3090TI进行推理测试，并发布了单帧模型和多帧模型两种。单帧模型采用SD1.5的修改架构，以一幅图像和一个操作步骤作为输入，输出一幅图像。多帧模型基于VideoCrafter系列模型，但进行了大量修改和训练，以两幅图像为输入，输出两幅输入图像之间的16个中间帧。
PaintsUndo在默认情况下同时使用单帧模型和多帧模型。首先使用单帧模型推断关键帧，然后使用多帧模型进行插值，最终生成一个较长的视频。这一技术革新为绘画领域带来了新的可能，也为AI技术的应用提供了更广阔的空间。
详细总结：
1. 项目介绍：PaintsUndo是由ControlNet作者Lvmin Zhang开发的AI视频生成项目，能够通过用户上传的静态图像自动生成整个绘画过程的视频。
2. 功能特点：PaintsUndo能够处理不同类型的图像，并生成相应的绘画过程视频。尽管在处理复杂构图时存在一些困难，但项目仍在不断完善中。
3. 技术原理：PaintsUndo背后的模型能够以图像为输入，输出绘制序列，复现人类绘画过程中的各种行为，如素描、上墨、着色等。
4. 部署过程：项目的本地部署过程非常简单，只需几行代码即可完成。
5. 模型介绍：
– 单帧模型：采用SD1.5的修改架构，以一幅图像和一个操作步骤作为输入，输出一幅图像。
– 多帧模型：基于VideoCrafter系列模型，但进行了大量修改和训练，以两幅图像为输入，输出两幅输入图像之间的16个中间帧。
6. 模型使用：PaintsUndo在默认情况下同时使用单帧模型和多帧模型。首先使用单帧模型推断关键帧，然后使用多帧模型进行插值，最终生成一个较长的视频。
7. 技术影响：PaintsUndo的技术革新为绘画领域带来了新的可能，也为AI技术的应用提供了更广阔的空间。
文章来源
原文地址: 点我阅读全文
原文作者: 机器之心
相关文章
