【SD】向未来而生，关于SDXL你要知道事儿

📗

作者：白马少年

介绍：SD实践派，出品精细教程

发布时间：2023-08-29 20:00

原文网址：https://mp.weixin.qq.com/s/LCoZz9ThH-cn7wjYXoUk7w

Stable Diffusion的全新版本SDXL1.0已经发布很长时间了，相信一部分人已经体验过了。但是绝大多数人可能还只是停留在听说过的一个状态，毕竟sd1.5都还没玩明白，AI的新玩意层出不穷，卷不动，实在是卷不动了。

而且发布这么久了，我也一直没写sdxl的原因：一个是因为确实没时间，因为我在筹备一套关于sd的课程；还有一个原因就是我觉得目前的sdxl还不太实用，它对用户的电脑配置要求太高了，而且配套的插件环境还没有建设起来。

但是呢，随着最新comfyUI的崛起，低配置电脑畅玩sdxl已经不是梦想，而且controlnet也开始逐步适应sdxl，所以我觉得是时候来了解一下sdxl了。因为在未来，它一定是主流，如果现在对它不理不睬，等它那一天突然变成完全体的时候，我们也许会不知所措。

这一篇文章，就是来为大家做一个关于sdxl的全面科普和应用讲解。

#SDXL模型的优势

首先，我们来了解一下sdxl是什么。

它是Stable Diffusion的开发公司最新发布的一款图像生成的大模型，我们以往所使用的模型，绝大部分都是在sd1.5的官方模型上衍生的微调大模型。虽然sd官方的模型直接生图不怎么样，但是由各路大神微调出来的模型却是相当惊艳，这也是开源软件的厉害之处。

但是这一次，sdxl1.0版本的官方大模型有了一个极强的升级，它的base模型参数数量为35亿，refiner模型参数数量则达到了66亿。

可能有小伙伴会疑问，为什么sdxl的模型有两个呢？这也正是SDXL相较于SD1.5或者2.1的最大区别，SDXL是由base基础模型和refiner优化模型两个模型构成，它可以在base模型的基础上再使用优化模型进行绘画，对比之前的单模型能更有针对性的优化出图质量。

而且根据官方的测试显示，sdxl1.0对比之前的sd1.5和2.1，审美偏好有了很大的提升。哪怕是只用base模型出图的效果也好了不少，甚至有直逼midjourney的趋势。

我总结了一下，SDXL厉害的地方主要有以下几点：

1.更大的体积和分辨率

从模型的容量上就可以看出来，sd1.5的大小为4G，sd2.1的大小为5G，而SDXL的base+refiner容量有13G之多。

它这么庞大的原因，主要是因为SDXL是基于1024*1024的图片进行训练的，拥有更清晰的图像和更丰富的细节。而我们知道，之前的sd1.5只有512*512的分辨率。所以，这就是为什么我们在之前输出高分辨率图片的时候会出现人物肢体混乱的情况，因为sd以为我们在同时输出多张图片。

在SDXL中，我们就可以直接生成1000分辨率以上的图片，再也不用担心会出现混乱的问题，并且细节的提升使它的绘画质量也达到了惊人的地步。

2.更智能的文字和语言识别在之前的模型中，SD生成的文字全是乱码，无论是中文还是英文都不太行。

而现在，sdxl可以直接生成带有文字的图片。你可以使用XXX with the words"XXX” written on it这样的句式来生成带有文字的图片，虽然中文还是不行，但是英文表现还不错。

比如，在头盔上写“future”的单词。

比如，在广告牌上写“SDXL”。

能进行文字书写，这绝对是AI领域的一次史诗级的更新。

并且，SDXL能更好地识别自然语言，不再需要加太多的质量关键词了，它支持只用很少的语句就能生成质量很高的图片，以后我们可以更专注在内容创作上，而不必烦恼那些琐碎的废话了。比如，描述一个在太空漫步的宇航员。

3.更好的人体结构

然后，SDXL关于人体结构也有了更精细的控制。一定程度上解决了面部变形和多余的肢体等问题。

但是手部的难题还是依然存在。

4.更多的绘画风格

在sd1.5中，不同的绘画风格都是基于不同的微调模型，以至于很多初学者在刚开始学习sd的时候，被数量众多的大模型和lora搞得晕头转向。而现在的SDXL，我们可以在同一个模型中画出各种各样的风格。包括现实级的照片风格、动漫风格、数字艺术风格、漫画书风格、折纸风格、线条风格、工艺黏土风格、3D模型风格、像素风格等等。

这样的操作模式，就越来越接近我们在midjourney中的使用体验了。但是微调模型也一直是sd的优势所在，所以我们对于sdxl未来的想象，也不会局限在这一个官方大模型上，它势必也一定是百花齐放的。

#SDXL的劣势

首先，模型容量的提升，带来的自然是显卡显存需求的提升。在webUI上，SDXL的最低显存需求是8G，流畅使用需要12G以上，而之前的sd1.5最低要求是4G，相比之下就亲民很多了。这也是我在刚开始所说的对于用户使用配置要求过高的原因，SDXL很多人的电脑是带不动的，而高级的显卡又确实很贵。

其次，因为SDXL刚发布不久，与之相关的微调模型和lora生态并没有建立起来。对于sd1.5的老玩家而言，制作高分辨率的图片早已不是什么难事，并且各色的模型、lora也可以帮助我们完成所需画面，使得SDXL的优点显得并不那么急迫。

最后一点，也是最重要的，就是controlnet在webUI上还不能匹配sdxl。这也是我们绝大多数人还在使用sd1.5的原因，因为只有能控制的AI绘图才能成为真正的生产力。目前的SDXL还需要时间的沉淀，我们要耐心等待。

#本地部署与在线使用

1.本地部署

SDXL的大模型分为两个部分：

第一部分，base+refiner是必须下载的，base是基础模型，我们使用它进行文生图的操作；refiner是精炼模型，我们使用它对文生图中生成的模型进行细化，生成细节更丰富的图片。

第二部分，是SDXL还有一个配套的VAE模型，用于调节图片的画面效果和色彩。

这三个模型，我已经放入了云盘链接中，大家可以关注我的公众号【白马与少年】，然后回复【SDXL】获取下载链接。

想要在webUI中使用SDXL的大模型，首先我们要在秋叶启动器中将webUI的版本升级到1.5以上。

接下来，将模型放入对应的文件夹中，base和refiner放在“……\sd-webui-aki-v4.2\models\Stable-diffusion”路径下；vae放在“……\sd-webui-aki-v4.2\models\VAE”路径下。完成之后，我们启动webUI，就可以在模型中看到SDXL的模型了。