ComfyUI BrushNet

🎉

作者：CYCHENYUE

BrushNet介绍

BrushNet，这是一种新颖的即插即用的双分支模型，旨在将像素级遮罩图像特征嵌入任何预训练的扩散模型中，确保连贯且增强的图像修复结果

BrushNet 的优势

BrushNet 在图像修复模型中的主要优势在于其能够高效地从遮罩图像和潜在噪声中提取和整合特征。这一点非常关键，因为它允许模型在图像生成过程中更好地理解和重建缺失或损坏的部分。此外，BrushNet通过与预训练的UNet网络结合使用，可以有效地增强图像细节和质量，这使得最终修复的图像能够达到较高的视觉质量和自然度。这种特性尤其适用于那些需要精细重建细节的高分辨率图像修复任务。

BrushNet在于它能够更加细致地处理图像的细节和边缘，尤其是在接缝处，确保修复后的图像与原始图像在内容和风格上保持一致。这样的处理方式可以使图像看起来更自然，不会有生硬或不自然的感觉。这种方法比传统的局部重绘技术更先进，因为它不仅考虑了缺失部分，还充分利用了图像的整体信息来优化修复效果。

原理示意图

掩码和下采样：模型接收一个掩码（Mask），用来指示图像中的缺失区域。这个掩码被下采样（Downsample）以匹配模型潜在空间的大小。
掩蔽图像与VAE编码器：实际的图像在缺失部分被掩蔽，然后传入变分自编码器（VAE Encoder）以使潜在空间的分布对齐。
噪声潜在空间：在处理过程中，将噪声加入潜在空间（Noisy Latent）以增加模型输出的多样性。
BrushNet：将掩蔽图像的潜在表示、噪声潜在空间和下采样掩码结合起来，作为BrushNet的输入。BrushNet用于提取特征。
Frozen UNet：BrushNet提取的特征通过零卷积（Zero Convolution）块逐层加到预训练的UNet中。下面详细说下这个.
去噪和图像生成：去噪过程完成后，通过解码器（Dec）生成图像。
模糊掩码和合成：生成的图像和掩蔽图像通过模糊掩码（Blurred Mask）进行混合，以创建最终的修复图像。
混合：使用混合技术将生成的图像与原始掩蔽图像结合起来，完成修复过程。

💡

在图像处理中，"Frozen UNet"通常指的是一个已经预训练好并在使用过程中保持固定不变的UNet模型。这意味着在进行特定任务（如图像分割或修复）时，模型的权重不会更新，从而可以利用UNet强大的图像处理能力，而无需重新训练模型。这种做法常用于需要快速且高效地处理图像的场景，尤其是当新数据不足以进行有效训练或者训练成本过高时。