Stable Diffusion Controlnet

Controlnet 允许通过线稿、动作识别、深度信息等对生成的图像进行控制。请注意，在使用前请确保 ControlNet 设置下的路径与本地 Stable Diffusion 的路径同步。

基本流程

• 点击 Enable 启用该项 ControlNet
• Preprocessor 指预处理器，它将对输入的图像进行预处理。如果图像已经符合预处理后的结果，请选择 None。譬如，图中导入的图像已经是 OpenPose 需要的骨架图，那么 preprocessor 选择 none 即可。
• 在 Weight 下，可以调整该项 ControlNet 的在合成中的影响权重，与在 prompt 中调整的权重类似。Guidance strength 用来控制图像生成的前百分之多少步由 Controlnet 主导生成，这点与[:]语法类似。
• Invert Input Color 表示启动反色模式，如果输入的图片是白色背景，开启它。
• RGB to BGR 表示将输入的色彩通道信息反转，即 RGB 信息当做 BGR 信息解析，只是因为 OpenCV 中使用的是 BGR 格式。如果输入的图是法线贴图，开启它。
• Low VRAM 表示开启低显存优化，需要配合启动参数“–lowvram”。
• Guess Mode 表示无提示词模式，需要在设置中启用基于 CFG 的引导。
• Model 中请选择想要使用解析模型，应该与输入的图像或者预处理器对应。请注意，预处理器可以为空，但模型不能为空。

可用预处理/模型

canny：用于识别输入图像的边缘信息。

depth：用于识别输入图像的深度信息。

hed：用于识别输入图像的边缘信息，但边缘更柔和。

mlsd：用于识别输入图像的边缘信息，一种轻量级的边缘检测。它对横平竖直的线条非常敏感，因此更适用于于室内图的生成。

normal：用于识别输入图像的法线信息。

openpose：用于识别输入图像的动作信息。

OpenPose Editor插件可以自行修改姿势，导出到文生图或图生图。

scribble：将输入图像作为线稿识别。如果线稿是白色背景，务必勾选“Invert Input Color”

fake_scribble：识别输入图像的线稿，然后再将它作为线稿生成图像。

segmentation：识别输入图像各区域分别是什么类型的物品，再用此构图信息生成图像。

如果想绘制一张符合 segementation 规范的图像，可以使用以下色表绘制。

color_coding_semantic_segmentation_classes – Google 表格

多ControlNet合成

在 ControlNet 的设置下，可以调整可用 ControlNet 的数量。

在多个 ControlNet 模式下，结果会将输入的信息合并生成图像：