AI绘画专栏之Comfyui之AnimateDiffLCM更快效果更佳工作流分享

AI绘画专栏之Comfyui之AnimateDiffLCM更快效果更佳工作流分享

    正在检查是否收录...

AnimateLCM能够在很少的步骤中生成高质量的视频。相比直接在原始视频数据集上应用一致性学习,该项目提出了一种解耦的一致性学习策略,分别对图像生成的基础知识和运动生成的基础知识进行提炼。这种策略提高了训练效率并提升了生成视频的视觉质量。

那么关于两个LCM的工作流,和模型

AnimateDiff 模型和LCM工作流链接:https://pan.quark.cn/s/4c93c8b2511b 

AnimatediffLCM不仅仅是AnimateDiff与LCM的结合就完了,还对图像的质量,图像的一致性,和占用更低的显存做了优化,也就是说,两者兼得

示例

原理

视频扩散模型因其能够生成连贯且高保真度的视频而受到越来越多的关注。然而,迭代去噪过程使其计算密集且耗时,从而限制了其应用。受一致性模型(CM)的启发,该模型提炼了预训练的图像扩散模型以以最小的步骤加速采样,并在条件图像生成上成功扩展了潜在一致性模型(LCM),我们提出了AnimateLCM,允许在最小的步骤内生成高保真视频。我们没有直接在原始视频数据集上进行一致性学习,而是提出了一种解耦一致性学习策略,将图像生成先验和运动生成先验的蒸馏解耦,提高了训练效率,增强了生成视觉质量。此外,在稳定的扩散社区中实现即插即用适配器的组合,以实现各种功能~(例如,用于可控发电的ControlNet)。我们提出了一种有效的策略,使现有适配器适应我们提炼的文本条件视频一致性模型,或者从头开始训练适配器,而不会影响采样速度。我们在图像条件视频生成和布局条件视频生成中验证了所提出的策略,都取得了最佳效果。

下载模型放置位置

1.它是支持animatediffv3的

2.即使在 Windows 上的 256 GB rx 256 gpu 上以 256x8x600 的分辨率,当其他型号至少允许我以该分辨率创建时,这也会导致内存不足。但是LCM没有超过8GB

3.AnimateLCM,允许在最小的步骤内生成高保真视频。我们没有直接在原始视频数据集上进行一致性学习,而是提出了一种解耦一致性学习策略,将图像生成先验和运动生成先验的蒸馏解耦,提高了训练效率,增强了生成视觉质量。此外,在稳定的扩散社区中实现即插即用适配器的组合,以实现各种功能(例如,用于可控生成的 ControlNet)。我们提出了一种有效的策略,使现有适配器适应我们提炼的文本条件视频一致性模型,或者从头开始训练适配器,而不会影响采样速度。我们在图像条件视频生成和布局条件视频生成中验证了所提出的策略,都取得了最佳效果。

模型存放

sd15_t2v_beta.ckpt
ComfyUI/models/animatediff_models
sd15_lora_beta.safetensors
ComfyUI/models/loras
工作流必须的节点

https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved
https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite
https://github.com/jojkaart/ComfyUI-sampler-lcm-alternative
ADE_StandardUniformContextOptions
SamplerLCMCycle
ADE_LoadAnimateDiffModel
LoraLoader
BNK_CLIPTextEncodeAdvanced
ADE_UseEvolvedSampling
LCMScheduler
ADE_ApplyAnimateDiffModelSimple
VAEDecode
SamplerCustom
领取comfyui工作流合集、超多AI合集已整理到https://yv4kfv1n3j.feishu.cn/docx/MRyxdaqz8ow5RjxyL1ucrvOYnnH

lcm一致性适配器comfyui图像生成工作流视频生成高保真视频数据集运动生成git视觉质量数据集githubcode扩散模型controlnetcms潜在一致性模型docx
  • 本文作者:李琛
  • 本文链接: https://wapzz.net/post-8460.html
  • 版权声明:本博客所有文章除特别声明外,均默认采用 CC BY-NC-SA 4.0 许可协议。
本站部分内容来源于网络转载,仅供学习交流使用。如涉及版权问题,请及时联系我们,我们将第一时间处理。
文章很赞!支持一下吧 还没有人为TA充电
为TA充电
还没有人为TA充电
0
  • 支付宝打赏
    支付宝扫一扫
  • 微信打赏
    微信扫一扫
感谢支持
文章很赞!支持一下吧
关于作者
2.3W+
5
0
1
WAP站长官方

13 个使用 AI 解决现实世界问题的 Web3 项目

上一篇

Differential Diffusion官网体验入口 AI图像生成编辑平台免费在线使用地址

下一篇
  • 复制图片
按住ctrl可打开默认菜单