AI动画：Stable Diffusion X AnimateDiff 的终极奥义

合集 · SD-WebUI Controlnet 终极指南 (15)

Description

随着sora模型的发布，AI动画视频的讨论可以说是越来越火热，但是sora可能是企业级的应用，大部分人应该用不起。从目前sora流出的案例来看，大场面做得非常出色，但是，至今我都没有看到sora能够做出来的复杂动作，并且也没有看到sora可以做出人物讲话的视频。
想要制作短片，第一从技术反推剧本，第二多种工具融合使用，才有可能真正做到，多种工具那就包括sora、runway，SD的animatediff等等，这里面runway、pika等等AI视频生成网站，都有可能被sora取代，而animatediff可能会成为与sora互补的一个重要工具。
这就是我们今天要讲的主题，animatediff的终极奥义。
我们大家所熟知的，文生视频以及图生视频，质量差且难控制，而视频转视频，没有任何意义。
而当你把这三种生成方式串起来起来，animatediff将发挥绝大的潜力~
文字、图片视频融合生成新视频，我愿称之为：TIV2V
本视频只有三个部分
第一部分参数设置和电脑配置要求
第二部分介绍如何让用AI生成的人物图像在AI生成的背景当中，做简单的动作
第三部分制作一个AI特效视频。
OneThingAI平台邀请链接:https://onethingai.com/invitation?code=WXCP_Za7NyGPZ
邀请码：WXCP_Za7NyGPZ

往期视频：
图生图终极指南：从玩具到工具的真正关隘
https://www.bilibili.com/video/BV1gu4y1t7gW/?spm_id_from=333.999.0.0
ControlNet完全指南（四）：Tile模型最强解析 x Inpaint局部重绘 x Instruct P2P图片指令
https://www.bilibili.com/video/BV1JH4y1Y7h1/?spm_id_from=333.999.0.0&vd_source=5985f66dc343071f554b97081370a518
ControlNet完全指南（三）：openpose姿态检测x segmentation语义分割：
https://www.bilibili.com/video/BV1kC4y1E7Fo/?spm_id_from=333.999.0.0&vd_source=5985f66dc343071f554b97081370a518
ControlNet完全指南（二）：线稿类模型完全指南
https://www.bilibili.com/video/BV1nj411a7Lm/?spm_id_from=333.999.0.0&vd_source=5985f66dc343071f554b97081370a518
ControlNet完全指南（一）：controlnet参数完全指南
https://www.bilibili.com/video/BV1ru4y187pF/?spm_id_from=333.999.0.0&vd_source=5985f66dc343071f554b97081370a518
comfyui基础节点流：
https://www.bilibili.com/video/BV12h4y1e7w8/?spm_id_from=333.999.0.0&vd_source=5985f66dc343071f554b97081370a518
comfyui进阶节点流：https://www.bilibili.com/video/BV1f14y1k73c/?spm_id_from=333.999.0.0&vd_source=5985f66dc343071f554b97081370a518

Comments

KAISAFA 2024-03-13

很好的视频技术教学，干货。我的意见是如果不着急用的话，可以了解但没必要玩命学。AI技术迭代太快，这种臃肿多软件切换，动作限制大，制作周期成本高的流程。本身就违反AI技术的本意与目标。不就的将来应该很快会被技术迭代，如果不着急使用，现在话花太多精力学习得不偿失。不如多用点时间补充一些可以长久有意义专业能力，比如镜头语言，运镜，分镜。等到视频技术爆炸的时候也用得着

♥ 17 ↩ 1

正己I 2024-03-14

没搞清楚咋生成的oppenpose序列图的看这里，你需要去设置打开contorlnet 允许自动保存检测图 (detected maps)，你的序列图就生成到那个文件夹里了，具体咋生成就是和视频一样生图，AnimateDiff倒视频，开contorlnet 开open pose，他就把文件夹建上往里存了

♥ 10 ↩ 3

MRYnY 2024-04-02

好像大家都对生成序列帧很茫然，希望up可以专门做一期让我们学习一下

♥ 3

林电筒 2024-04-25

openpose 序列帧怎么输出的呀，求大佬说下具体步骤

♥ 2

头前儿那破车 2024-04-21

我按照up主设置后，同时启用animate和controlnet生成时提示错误：AttributeError: 'dict' object has no attribute 'shape' 如果关闭animate，controlnet unit1中手动选择骨骼视频第一真的骨骼图就能出一张图。希望up主能回复。

♥ 1 ↩ 2

陈赫明 2024-03-15

已三连，求AnimateDiff 模型下载地址

♥ 1

亚里士瑟 2024-03-06

三连了，大佬以后同学称呼改为靓仔呗。大佬这口音不叫几声靓仔，我浑身难受[doge]

♥ 1 ↩ 1

5棋子 2024-03-06

还是得留言比较能让你看到啊！求笔记！多谢！

♥ 1 ↩ 3

那天早晨i 2024-03-05

一脸懵逼[微笑]

♥ 1

纱师兄 2024-03-04

这么看IP Adapter还挺有用，可以尽量保持人物的一致性，逐帧高清修复确实会导致闪烁，所以显卡够好第一次生成的时候考虑别用LCM试试看如果只是做半身或者大头说话，这个工作流的效果应该更好了相当于你有一张图就能让这个图里的人按照你想要的口型说话（不确定openpose开大了以后会不会出岔子）整体还是很不错的[OK]

♥ 1 ↩ 2