还不会用comfyui做动画?看这里!喂饭教程在这里

一、最终动画生产流程(推荐结构)
这是最稳定的 AI动画生产线结构:

文本
 ↓
Prompt编码
 ↓
Wan2.2 视频生成
 ↓
IPAdapter角色一致
 ↓
AnimateDiff动作
 ↓
RIFE插帧
 ↓
Wav2Lip对口型
 ↓
VideoCombine
 ↓
输出MP4

最终输出:

Q版动画 + 配音

二、需要安装的插件

先打开 ComfyUI Manager 安装:

视频生成

ComfyUI-WanVideoWrapper

调用wan2.2

ComfyUI-AnimateDiff-Evolved

角色一致

ComfyUI_IPAdapter_plus

视频工具

ComfyUI-VideoHelperSuite

包含

VideoCombine

RIFE

视频输出

 

 

对口型

ComfyUI-Wav2Lip

三、需要下载的模型

1 Wan模型

推荐

wan2.2_t2v_14B

放入

ComfyUI/models/checkpoints

2 AnimateDiff motion model

  • 例如
  • mm_sd_v15_v2.ckpt
  • 路径
  • ComfyUI/models/controlnet

    4 Q版LoRA

  • 推荐搜索

  • chibi style
    anime mascot
    cute character

    路径

  • ComfyUI/models/loras四、可导入 ComfyUI JSON 工作流下面是一份 基础动画生成工作流。

四、可导入 ComfyUI JSON 工作流

下面是一份 基础动画生成工作流。

把内容保存为

wan_chibi_animation.json

然后拖进 ComfyUI 导入。

{
 "last_node_id": 6,
 "last_link_id": 5,
 "nodes": [
  {
   "id": 1,
   "type": "CheckpointLoaderSimple",
   "pos": [100,200],
   "widgets_values": ["wan2.2_t2v_14B.safetensors"]
  },
  {
   "id": 2,
   "type": "CLIPTextEncode",
   "pos": [300,100],
   "widgets_values": [
    "cute chibi panda mascot, big head small body, cartoon animation, waving hand"
   ]
  },
  {
   "id": 3,
   "type": "EmptyLatentImage",
   "pos": [300,300],
   "widgets_values": [512,512,16]
  },
  {
   "id": 4,
   "type": "KSampler",
   "pos": [600,200],
   "widgets_values": [
    123456,
    "euler",
    20,
    7,
    "normal"
   ]
  },
  {
   "id": 5,
   "type": "VAEDecode",
   "pos": [900,200]
  },
  {
   "id": 6,
   "type": "SaveImage",
   "pos": [1100,200]
  }
 ],
 "links": [
  [1,0,4,0],
  [2,0,4,1],
  [3,0,4,2],
  [4,0,5,0],
  [5,0,6,0]
 ]
}

说明:

这个是 动画帧生成基础结构。

生成的帧可以接:

VideoHelperSuite
↓
VideoCombine
↓
MP4

五、加上视频节点后的完整结构

在刚才流程后面接:

VAE Decode
 ↓
Frame Interpolation (RIFE)
 ↓
Video Combine
 ↓
Save Video

输出:

animation.mp4

六、加入配音流程

配音推荐用:

CosyVoice

GPT-SoVITS

Edge TTS

最简单:

Edge TTS

文本:

大家好,我是一只可爱的熊猫

生成:

voice.wav

七、自动口型

使用

Wav2Lip

流程:

动画视频
+
voice.wav
↓
Wav2Lip
↓
lip_sync_video.mp4

角色就会说话

八、完整生产线(最终版)

完整动画 pipeline:

Prompt
 ↓
Wan2.2
 ↓
生成动画帧
 ↓
AnimateDiff动作
 ↓
RIFE插帧
 ↓
VideoCombine输出视频
 ↓
TTS生成语音
 ↓
Wav2Lip口型同步
 ↓
最终动画

九、Q版动画 Prompt 模板

chibi character, big head small body,
cute mascot,
cartoon animation,
soft color,
studio ghibli style

动作:

walking happily
jumping
waving hand
talking

十、行业级优化(非常重要)

真正做动画会加:

角色训练

LoRA训练角色

工具:
* kohya

动作控制

openpose

控制角色姿势。

分镜动画

    一段视频:

镜头1
镜头2
镜头3

每段3 秒

十一、AI动画短视频生产线

真正稳定的结构是:

脚本
 ↓
分镜生成
 ↓
Wan2.2生成视频
 ↓
AnimateDiff
 ↓
RIFE
 ↓
TTS配音
 ↓
Wav2Lip
 ↓
剪辑

10分钟能做一条短视频

© 版权声明
THE END
喜欢就支持一下吧
点赞6 分享
你的血好甜的头像-小白书博客
评论 抢沙发

请登录后发表评论

    暂无评论内容