辅助工具：MistoLine线稿生图

✅

中文介绍：https://www.liblib.art/modelinfo/d1d7104c109948aead3d7c7b29e13aaf

GITHUB链接：https://github.com/TheMistoAI/MistoLine

模型下载（要科学🕸️）：https://huggingface.co/TheMistoAI/MistoLine/tree/main

模型下载（免科学🕸️）：https://pan.baidu.com/s/1DbZWmGJ40Uzr3Iz9RNBG_w?pwd=8mzs

MistoLine-Control Every Line!

MistoLine 是一个可以适配任意类型线稿，准确性高，稳定性优秀的SDXL-ControlnetNet模型。它可以基于用户输入的任意类型的线稿图（手绘、各类controlnet-line preprocessor、模型线框轮廓等）作为条件，生成高质量图像（短边大于1024px），无需再根据不同线预处理器选择不同的controlnet模型，MistoLine在各类线稿条件下都有较好的泛化能力。

MistoLine是我们使用全新的线预处理算法（Anyline），并基于*********ai/stable-diffusion-xl-base-1.0的Unet以及大模型训练工程上的创新，重新进行训练的Controlnet模型。MistoLine对于不同类型的线稿输入都有较好的表现，在更加复杂的场景下对于细节还原，prompt对齐，稳定性方面对比现有的Controlnet模型都有更好的表现结果。

MistoLine与lllyasviel公布的Controlnet架构保持一致，原理图如下：

reference：https://github.com/lllyasviel/ControlNet

更多关于ControlNet相关的介绍请参考：

More information about ControlNet can be found in the following references:

https://github.com/lllyasviel/ControlNet

该模型适配目前除（PlaygroundV2.5以及CosXL）之外的大部分SDXL模型，可以配合LCM以及其他ControlNet模型一并使用。我们开源对应的模型权重文件供个人用户进行非商业性使用。

不同预处理器效果：

与其他ControlNet的对比

应用场景

手绘渲染

以下案例只是用了MistoLine这个controlnet

模型渲染

以下案例只使用了Anyline作为预处理器以及MistoLine这个controlnet

更精细的手部+面部动作

通过线稿图片可以识别精细地动作。实现手部面部精细地展示

ComfyUI推荐参数

sampler steps:30
CFG:7.0
sampler_name:dpmpp_2m_sde
scheduler:karras
denoise:0.93
controlnet_strength:1.0
stargt_percent:0.0
end_percent:0.9

Checkpoints

mistoLine_rank256.safetensors : 通用版本，General usage version, for ComfyUI and AUTOMATIC1111-WebUI.
mistoLine_fp16.safetensors : FP16版本，FP16 weights, for ComfyUI and AUTOMATIC1111-WebUI.

ComfyUI 使用方法

引用

@misc{
      title={Adding Conditional Control to Text-to-Image Diffusion Models},
      author={Lvmin Zhang, Anyi Rao, Maneesh Agrawala},
      year={2023},
      eprint={2302.05543},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}