1.comfyui介绍

是一个开源的图形用户界面（GUI），专门设计用于深度学习模型的控制和操作，特别是与图像生成（如 Stable Diffusion）相关的任务。它通过直观的界面让用户能够方便地构建、调试和执行复杂的深度学习工作流，而无需编写大量的代码。

ComfyUI 的主要特点
图形化界面：
ComfyUI 提供了一个基于拖拽和连接节点（node）的图形界面，用户可以通过拖动和连接不同的功能模块（节点）来设计模型和数据处理流程。这使得用户可以通过可视化的方式控制模型的输入、处理和输出。
扩展性和自定义：
ComfyUI 支持创建自定义节点（custom nodes），用户可以根据需求编写自己的节点和功能。这使得它具有很高的灵活性，适合各种深度学习任务，特别是图像生成、风格迁移等。
深度学习模型支持：
它支持与多个深度学习框架（如 PyTorch、TensorFlow）和模型（如 Stable Diffusion 等）集成，可以用来执行图像生成、图像风格迁移、文本到图像生成等任务。
交互式操作：
ComfyUI 允许用户在界面中直接调整模型参数、查看生成结果，并实时修改输入，以便快速迭代和调试。对于需要频繁调整超参数和生成设置的任务，ComfyUI 提供了极大的便利。
支持多任务工作流：
用户可以在 ComfyUI 中创建和管理复杂的工作流，包括数据处理、训练和生成多个图像等任务。它使得数据预处理、模型训练和推理的过程更加高效
使用场景
AI 视频生成
图像合成与编辑
艺术创作

2.comfyui的本地部署

参考的资料
Comfyui容器化部署与简介

首先通过git下载comfyui项目到本地

github中的comfyui项目

通过git命令，将项目安装到本地

git clone https://github.com/comfyanonymous/ComfyUI.git

也可以下载项目，然后解压的方式安装。（但是建议用上一种git的安装方式，因为后续很多时候由于新出来的一些模型，需要跟新comfyui才能使用，如果是解压这种方式安装的就不好更新项目了）

环境配置

conda create -n comfyui python=3.10
conda activate comfyui

然后到comfyui项目里，右键打开终端，然后输入命令安装requirements.txt 文件夹中的包

pip install -r requirements.txt

pytorch的安装
这里安装的是torch 2.3.1

conda install pytorch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 pytorch-cuda=11.8 -c pytorch -c nvidia

安装一些必要的节点

节点管理器
ComfyUI-Manager

用来管理我们的工作流当中缺失的节点

3.comfyui项目中的文件的含义

这些文件全是comfyui文件夹下的
input
用来存放输入的数据，比如输入的图片
output
用来存放输出的数据
nodes.py文件
定义了我们工作流中各个节点的函数（一些基本的节点），比如下图中加载load checkpoint这些节点，我们看到的是一个节点，实际上是由这个python函数里面定义的类决定的，有时候我们需要修改节点内的一些代码。

custom_nodes
用来存放定制的节点
一般我们需要将别人的这个节点项目下载到此文件夹下，才能运行别人的工作流，因为里面会定义一些特定的的节点。

每个节点其实也是一个项目：
比如这里的xflux节点

我们安装一个节点也是用git命令安装
用git命令安装到custom_code文件夹里

git clone https://github.com/XLabs-AI/x-flux-comfyui.git

然后也需要下载这个节点里面的requirements.txt文件夹里的包到我们的comfyui虚拟环境中

pip install -r requirements.txt

workflow.json
节点文件夹里面会有一些json文件，里面是这个节点的作用定义好的一些工作流，我们用confyui打开来就可以直接用。

这些json文件主要定义了这个工作流中使用的节点的一些参数的情况，有时候我们需要修改这个文件夹中内容，来确保工作流能够使用

models
里面存放的就是我们需要的所有模型的权重，跑工作流之前，需要将必要的模型权重下载到对应的文件夹里面

checkpoint
用来存放打包好的整个模型的权重，

clip
用来存放clip文本编码器
clip_vision
用来存放clip视觉编码器
controlnet
用来了存档controlnet的权重
unet
用来存放unet的权重
vae
用来存放vae编码器的权重
loras
用来存放lora 的权重

4.运行项目

先保证虚拟环境的创建，以及环境的配置，和对应的包要下载到对应的文件夹里面
然后激活虚拟环境
右键点击项目中的main.py文件运行即可

然后终端出现以下内容则正常运行了

点击链接就可以在浏览器打开comfyui的界面了

出一张图看看效果
执行的过程会逐个节点的运行，如果报错了，那么就去pycharm的运行界面里面看报错是什么原因，然后去解决。