ControlNet 是一种神经网络结构，通过添加额外条件来控制扩散模型。
它将神经网络块的权重复制到“锁定”副本和“可训练”副本中。
“可训练”的人会了解您的病情。“锁定”的模型将保留您的模型。
因此，使用图像对的小数据集进行训练不会破坏生产就绪的扩散模型。
“零卷积”是 1×1 卷积，权重和偏差都初始化为零。
在训练之前，所有零卷积都输出零，ControlNet 不会造成任何失真。
没有一个层是从头开始训练的。你还在微调。您的原始模型是安全的。
这允许在小规模甚至个人设备上进行培训。
这对于合并/替换/抵消模型/权重/块/层也很友好。

一、概况

（AI生成一张图然后用controlnet生成多张类似图片，换背景换衣服发色之类）

（最左为网上找的线稿图，作者阿瑞。后两张是我用control net处理后的图片）
Control Net，可以让AI绘画，精确绘制更多姿势动作，而不仅仅是大头照，直立照等有限动作和姿势的图像，

（图：contorlnet官方文档）

还能给手稿上色，根据草图生成相应人，物等。

（图：contorlnet官方文档）

真的是非常厉害，可以说，极大地拓展了AI绘图的使用空间。

使得AI绘图不仅仅是AI爱好者们的自娱自乐，甚至已经可以进入商业领域作为辅助生产工具了。

二、安装

（一）安装ControlNet

1. 首先你需要安装sdwebui，如果没安装的请点击《Windows安装Stable Diffusion WebUI及问题解决记录》。

2. 安装 Controlnet插件

打开stable-diffusion-webui，点击最右侧的extension，接着点击available，再点击“Load From:”按钮。

这时候页面下面就会出现一系列的可用插件。

注意：这里有时候点击load from按钮之后，页面会报错说fail连接失败。
别急，刷新页面，调试好网络，开启/切换内外网，再点击一次load from，试多几次就好。

接着，Ctrl/command + F 查找“controlnet”，找到controlnet插件，并点击右侧的install安装这个插件。

安装完成后，插件面板会显示 intalled into xxx，说明已经安装好了。

备注：
如果实在无法通过available页面下载安装control net，也可以通过Install from URL页面手动安装。插件地址是：https://github.com/Mikubill/sd-webui-controlnet，或者自己先把插件通过git clone或者github网页下载整个包之后放在stable-diffusion-webui > extensions 文件夹下面。安装好后记得在installed页面点击apply and restart（应用并重启）。

（二）安装OpenPose

先别急着切换到installed 页面，咱再安装一个插件，叫做Openpose Editor，方便后续我们自己编辑自定义POSE（姿势）。

查找openpose，找到下图这个插件，点击右侧的安装install

等待安装，直到显示“Installed into … openpose-editor. Use Installed tab to restart.”代表安装完成。

这时候，点击 installed 页面，你会发现，刚刚安装的两个插件都已经显示在上面了。这时候点击apply and restart ui（应用并重启软件），接着等待网页自动刷新，如果显示无法连接，那么手动刷新下。

同上，如果实在无法在available页面安装，也可以用install from url页面，或者下载代码包并复制到stable-diffusion-webui > extensions里面即可。插件地址是https://github.com/fkunn1326/openpose-editor。安装好后记得在installed页面点击apply and restart（应用并重启）。

三、激活

打开contorlnet编辑器。
页面刷新后，sdwebui的首页，原本Seed下面，会出现了一行ControlNet字样的长框，点击右边的三角形展开。

展开界面如下图。

四、模型

ControlNet是需要专用模型的，否则无法使用相关功能引导图画。

下载地址：

• https://huggingface.co/lllyasviel/ControlNet/tree/main/models
• https://huggingface.co/TencentARC/T2I-Adapter/tree/main/models

但是你会发现模型有很多种，选哪种呢？

大家硬盘有限的可以先下载canny，openpose，scribble这三个模型。

canny主要是边缘检测，属于比较通用的模型，Openpose就是传说中的姿势控制专用模型，而scribble是手稿模型，适合随手涂鸦然后生成一个精美的画面，可玩性很高。

（硬盘空间比较大的建议全下载一下，因为每个模型都有自己的使用场景，各有各自的特色。）

下载好之后，把模型文件放到 stable-diffusion-webui\extensions\sd-webui-controlnet\models 文件夹下面。

现在大家就已经可以开始用controlnet来玩耍了。

（PS：ControlNet依赖xformers算法框架及Nvidia显卡，Mac系统的同学可能使用效果只能有70-80分，而且速度慢，较难达到文档描述那种哇塞的效果）

需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

1.stable diffusion安装包 （全套教程文末领取哈）

随着技术的迭代，目前 Stable Diffusion 已经能够生成非常艺术化的图片了，完全有赶超人类的架势，已经有不少工作被这类服务替代，比如制作一个 logo 图片，画一张虚拟老婆照片，画质堪比相机。

最新 Stable Diffusion 除了有win多个版本，就算说底端的显卡也能玩了哦！此外还带来了Mac版本，仅支持macOS 12.3或更高版本。

2.stable diffusion视频合集

我们在学习的时候，往往书籍代码难以理解，阅读困难，这时候视频教程教程是就很适合了，生动形象加上案例实战，一步步带你入门stable diffusion，科学有趣才能更方便的学习下去。

3.stable diffusion模型下载

stable diffusion往往一开始使用时图片等无法达到理想的生成效果，这时则需要通过使用大量训练数据，调整模型的超参数（如学习率、训练轮数、模型大小等），可以使得模型更好地适应数据集，并生成更加真实、准确、高质量的图像。

4.stable diffusion提示词

提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言，整个SD学习过程中都离不开这本提示词手册。

5.AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

这份完整版的学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】