1. 概述:
ComfyUI是一个基于节点的图形用户界面(GUI),专门为Stable Diffusion设计。用户可以通过链接不同的节点来构建复杂的图像生成工作流程。这些节点可以包括加载检查点模型、输入提示、指定采样器等。ComfyUI提高了自由度,允许不同功能的节点自由组合,实现全自动化运作的工作流程。
2. 准备环境:
1.【开发机】创建开发机
-
填入名称“comfyui”选择队列及可用区
-
【资源配置】- 【GPU加速型】下拉选择规格“CPU:12核 | 内存:20GB | GPU:NVIDIA-3060 * 1” (GPU类型可选择A10 A100)
-
框架版本选择【社区镜像】的“comfyui-cuda11.7-pytorch2.0.1”
2.点击【确认】
3.启动开发机:
-
在【开发机】中刷新状态,等待“comfyui”开发机状态进入运行中后点击右侧操作栏【打开】
-
点击【打开】后将跳转到Jupyte开发机。
-
在Jupyter启动页【AI Community】下点击"AI Task:ComfyUI"跳转到ComfyUI页面
4.准备模型文件:
-
在Jupyter启动页【其他】下点击"终端"跳转到终端页面
-
终端输入命令:
wget -c "https://modelscope.cn/api/v1/models/AI-ModelScope/anything-v3.0/repo?Revision=master&FilePath=Anything-V3.0-pruned-fp16.safetensors" -P ./models/checkpoints/ wget -c "https://modelscope.cn/api/v1/models/AI-ModelScope/sd-vae-ft-mse-original/repo?Revision=master&FilePath=vae-ft-mse-840000-ema-pruned.safetensors" -P ./models/vae/ wget -c "https://modelscope.cn/api/v1/models/AI-ModelScope/stable-diffusion-v1-5/repo?Revision=master&FilePath=v1-5-pruned-emaonly.ckpt" -O ./models/checkpoints/v1-5-pruned-emaonly.ckpt
3.启动推理:
-
上面步骤下载模型完成后,在ComfyUI页面点击【Queue Prompt】
-
第一次推理需要加载模型,要等待一段时间,可以在终端查看程序日志,在Jupyter启动页【其他】下点击"终端"跳转到终端页面
-
终端输入命令:tail -f log.txt
-
推理完成后会根据CLIP框的提示词在右侧生产图片
-
4.更换workflow并生成图片:
-
在ComfyUI页面点击按快捷键CTRL+O,选择controllnet_workflow.json
-
在Load Image控件点击【choose file to upload】选择文件input_scribble_example.png
-
在ComfyUI页面点击【Queue Prompt】
-
推理完成后会根据CLIP框的提示词在右侧生产图片