第八期 用SD3生成高质量图片

活动主题

使用SD3 模型,生成图片.

要求:

提示词的图片需要包含 3 种不同的颜色,测试SD3 模型对提示词的理解能力,如果能有生成文字的图片最好.

欢迎大家SD 学社分享出生成的图片,能附上参数就更好了.

sd3 模型和相关工作流

【超级会员V5】通过百度网盘分享的文件：stable-d…

链接:https://pan.baidu.com/s/1WYzfsS7QFwNW_t7RiUefGA?pwd=cycy

提取码:cycy

复制这段内容打开「百度网盘APP 即可获取」

下个是使用的一些个人感受, 个人观点,仅供参考

提示词

提示词长度

SD3 中使用的重大变化是提示词。长度可以传递非常长且描述性的提示，并获得非常符合提示的图像。不再受限于 CLIP 文本编码器的 77 个token限制(可以长达 10,000 个字符，或超过 1,500 个单词)。

不要使用负面提示

SD3没有对负面提示词进行训练. 当在sd3里面使用负面提示词,并不会像sd1.5或者sdxl中为你在画面中去除对应的元素.使用负提示词不会有效地去除你不想要的元素。相反，它会引入随机变化，使图像结果不稳定，类似于使用了不同的随机种子。这是因为SD3没有针对负提示词进行训练，所以它不会按照你期望的方式起作用。负提示词不会消除特定的内容，而只是引入噪声，使生成的图像发生随机变化。

提示词的技巧

现在SD3可以使用更长的提示短语,因为sd3有更好的提示遵循性能,当然依然也可以使用逗号来分割每个关键词.如果需要描述一个具体的东西,在提示词中详细明确的描述出来,这有助于sd3更好的理解.

采样器相关的设置

推荐的参数设置

步数

28步(26-36步)

CFG

模型输出与提示词的相似程度。对于 SD3 推荐 3.5-4.5 ，你需要使用比 SD 1.5 和 SDXL 更低的值。如果图像的对比度的过高, 降低CFG值可以减少过高的对比度，使图像更自然和均衡. 另外CFG值越低,三个文本编码器对图像的影响就越小.

采样器与调度器

comfyui中 dpmpp_2m 与 sgm_uniform

有些采样器和调度器根本无法与 SD3 配合使用——特别是 ancestral 和 sde 采样器以及流行的 SDXL 噪声调度器 karras

图片的宽高

与 SDXL 类似，SD3 在大约 1 百万像素时输出的效果最佳，也就是长乘宽的像素总是在一百万左右。分辨率必须是 64 的倍数。

这些分辨率都是64的倍数，并且总像素数接近100万像素，符合Stable Diffusion 3的最佳输出要求：

下面是每个比例的像素和长宽比：

• 1:1 1024 x 1024
  • 像素总数：1,048,576
  • 比例：1:1
• 16:9 1344 x 768
  • 像素总数：1,031,232
  • 比例：1.75（接近16:9）
• 9:16 768 x 1344
  • 像素总数：1,031,232
  • 比例：0.57（接近9:16）
• 21:9 1536 x 640
  • 像素总数：983,040
  • 比例：2.4（接近21:9）
• 9:21 640 x 1536
  • 像素总数：983,040
  • 比例：0.42（接近9:21）
• 3:2 1216 x 832
  • 像素总数：1,011,712
  • 比例：1.46（接近3:2）
• 2:3 832 x 1216
  • 像素总数：1,011,712
  • 比例：0.68（接近2:3）
• 5:4 1088 x 896
  • 像素总数：974,848
  • 比例：1.21（接近5:4）
• 4:5 896 x 1088
  • 像素总数：974,848
  • 比例：0.82（接近4:5）

新增的shift值

在Stable Diffusion 3（SD3）中，Shift参数用于调整时间步调度的偏移。时间步调度涉及在生成过程中控制噪声水平。更高的Shift值有助于在高分辨率图像中更好地管理噪声，使得生成的图像更加清晰和自然。通过调整Shift参数，可以优化生成图像的质量。

默认值是 3.0

时间步调度偏移（timestep scheduling shift）

在图像生成的每一步中，模型会加入一些噪声，然后再逐步减少噪声以生成最终图像。时间步调度指的是如何在这些步骤中安排和调整噪声的加入和减少。Shift参数则影响这一过程，通过改变时间步调度的偏移，能够更好地管理噪声，特别是在高分辨率图像中，从而提升图像的质量。

所以，采样器负责具体的采样过程，而调度器则管理整个生成过程的参数调整和步调协调。Shift参数是在调度器的基础上进一步优化这些步骤，特别是针对高分辨率图像。

采样器与调度器测试

原文地址（感谢 fofr）https://replicate.com/blog/get-the-best-from-stable-diffusion-3

SD3 研究论文 https://arxiv.org/pdf/2403.03206