Stable Diffusion Controlnet

Controlnet 允许通过线稿、动作识别、深度信息等对生成的图像进行控制。请注意,在使用前请确保 ControlNet 设置下的路径与本地 Stable Diffusion 的路径同步。

Stable Diffusion Controlnet

基本流程

Stable Diffusion Controlnet
  • 点击 Enable 启用该项 ControlNet
  • Preprocessor 指预处理器,它将对输入的图像进行预处理。如果图像已经符合预处理后的结果,请选择 None。譬如,图中导入的图像已经是 OpenPose 需要的骨架图,那么 preprocessor 选择 none 即可。
  • 在 Weight 下,可以调整该项 ControlNet 的在合成中的影响权重,与在 prompt 中调整的权重类似。Guidance strength 用来控制图像生成的前百分之多少步由 Controlnet 主导生成,这点与[:]语法类似。
  • Invert Input Color 表示启动反色模式,如果输入的图片是白色背景,开启它。
  • RGB to BGR 表示将输入的色彩通道信息反转,即 RGB 信息当做 BGR 信息解析,只是因为 OpenCV 中使用的是 BGR 格式。如果输入的图是法线贴图,开启它。
  • Low VRAM 表示开启低显存优化,需要配合启动参数“–lowvram”。
  • Guess Mode 表示无提示词模式,需要在设置中启用基于 CFG 的引导。
  • Model 中请选择想要使用解析模型,应该与输入的图像或者预处理器对应。请注意,预处理器可以为空,但模型不能为空。

可用预处理/模型

canny:用于识别输入图像的边缘信息。

Stable Diffusion Controlnet

depth:用于识别输入图像的深度信息。

Stable Diffusion Controlnet

hed:用于识别输入图像的边缘信息,但边缘更柔和。

Stable Diffusion Controlnet

mlsd:用于识别输入图像的边缘信息,一种轻量级的边缘检测。它对横平竖直的线条非常敏感,因此更适用于于室内图的生成。

Stable Diffusion Controlnet

normal:用于识别输入图像的法线信息。

Stable Diffusion Controlnet

openpose:用于识别输入图像的动作信息。

Stable Diffusion Controlnet

OpenPose Editor插件可以自行修改姿势,导出到文生图或图生图。

Stable Diffusion Controlnet

scribble:将输入图像作为线稿识别。如果线稿是白色背景,务必勾选“Invert Input Color”

Stable Diffusion Controlnet

fake_scribble:识别输入图像的线稿,然后再将它作为线稿生成图像。

Stable Diffusion Controlnet

segmentation:识别输入图像各区域分别是什么类型的物品,再用此构图信息生成图像。

Stable Diffusion Controlnet

如果想绘制一张符合 segementation 规范的图像,可以使用以下色表绘制。

color_coding_semantic_segmentation_classes – Google 表格

Stable Diffusion Controlnet

多ControlNet合成

在 ControlNet 的设置下,可以调整可用 ControlNet 的数量。

Stable Diffusion Controlnet

在多个 ControlNet 模式下,结果会将输入的信息合并生成图像:

Stable Diffusion Controlnet
Stable Diffusion Controlnet

本文来自腾讯云开发者,不代表ABC.Design立场,如若转载,请注明出处:腾讯云开发者

(0)
打赏 微信扫一扫 微信扫一扫
ABC.Design的头像ABC.Design
上一篇 2023年5月26日 下午2:06
下一篇 2023年5月26日 下午3:56

发表回复

登录后才能评论
交流群
交流群
返回顶部