StabilityAI带着SD3.5回来了!修复重大Bug,可免费商用!
大家好,我是花生~
就在昨天,知名开源大模型平台 Stability AI(以下简称 SAI)突然发布了新的 Stable Diffusion 3.5 模型。本以为在经历 SD 3 发布失利、核心成员出走、Flux 模型发布等一系列冲击后,SAI 会元气大伤,没想到原来是在默默憋大招。
这次发布的 SD 3.5 模型不仅在很多方面都有了优化提升,而且全部免费可商用,算是给开源社区的发展注入了一针新的强心剂,下面一起来看看它的特点和使用方法吧~
了解 6 月份发布的 SD 3 模型:
一、SD 3.5 模型简介此次的 SD 3.5 模型总共包括 3 个型号,分别是 :
① SD 3.5 Large:拥有 80 亿个参数,在图像质量和提示词准确性方面表现优异,是 SD 系列中最强大的模型,适合 1 兆像素分辨率的专业用例。
② SD 3.5 Large Turbo:Large 模型的精炼版本,只需 4 个步骤即可生成高质量图像,因此出图质量会比 Large 快,同时提示词准确性依旧能保持在不错的水平。
③ SD 3.5 Medium(29 号正式发布):该模型拥有 25 亿个参数,适用于消费类硬件,平衡了图像质量和模型易用性,是更适合一般用户的性价比之选。
从官方发布的示例图,以及网上用户发布的测试图来看,SD 3.5 的图像生成质量的确不错。SD 3 时就具备的特性,比如高清细节、准确的提示词理解、 优秀的文本生成排版能力等,在 SD 3.5 中依旧保有并表现更好了,另外 SD 3.5 还支持更包容的内容输出和更多样的风格。
比如之前的 SD 模型默认以白色人种为主,现在则可以轻松能生成不同肤色的人;而且只需修改关键词,SD 3.5 就能生成各种艺术风格的图像,包括 3D、摄影、卡通、线条艺术、赛博朋克等,美学质感表现非常亮眼, 甚至不输 Midjourney 和 Flux.1。
另外 SD 3.5 修复了 SD 3 模型的一个重大 bug —— 无法生成 “躺在草地上的女孩” 。这点大家应该有印象,SD 3 在发布后,很快被人发现在生成 “A girl lying on the grass” 时,人物的躯体四肢会出现明显的扭曲畸形,相关图像也成了一时广为流传的 AI 梗图,让 SD3 的处境非常尴尬。
也许是为了一雪前耻,在此次介绍更新的官方博客中,第一张放的就是一个女性仰面躺在草地上的图像,我第一眼看到的时候差点笑出声,看来官方也是知道大家对 SD3 的吐槽的。 不过在博客中,官方也提到之所以没有立刻对 SD3 采取修复措施,是决定花时间进一步开发一个新版本,于是 SD 3.5 就诞生了,SD 系列也算是能接上原有的发展路径了。
最最重要的是,此次发布的三个模型都有非常宽松的使用许可 —— 年收入总额低于 100 万美元(或等值当地货币)的组织或个人免费用于研究、非商业和商业用途。也就是对于个人和中小公司而言,SD 3.5 的三个模型可以自由免费商用,果然免费开源还是得看 Stability AI。
开源社区里目前对 SD 3.5 和 Flux Dev 的生成能力做了多次对比,在质感细节、风格多样性上 SD 3.5 占有优势,但生成手指、脚趾、姿势动作时远不及 Flux 准确自然。但总体来说还是 SD 3.5 比 SDXL 和 SD 3 好很多,加上模型是开源可商用这点,相信之后会和 SDXL 一样,激发出很多高质量的微调模型。
二、ComfyUI 本地部署官方目前已经在 Huggingface 上开源了 SD 3.5 Large 和 Large Turbo 两款模型,ComfyUI 第一时间就进行了支持。另外 ComfyUI 官方自己还发布了一款 sd3.5_large_fp8_scaled 模型,适合低显存(8G)用户。下面分别介绍三款模型的基础使用。
① SD 3.5 Large
模型下载: /uploads/pic/20241024/stable-diffusion-3.5-large (文末有资源包与工作流)
安装方法:
将 ComfyUI 更新到最新版本;将 SD 3.5 Large 放到 comfyui 根目录的 models/checkpoint 文件夹;下载 Clip_g.safetensors、Clip_l.safetensors 和 t5xxl_fp8.safetensors,放到 models/clip 文件夹;将 SD3.5L_example_workflow.json 工作流文件拖入 ComfyUI 界面;工作流使用注意事项:
Large 模型适合显存 16G 及以上的用户。SD 3.5 Large 和 Turbo 模型本身不包含文本编码器/CLIP 权重,因此需要单独加载。在正式生成前,注意检查自己是否安装比正确选择了这些模型。图像分辨率需要是 64 的倍数;CFG 参数推荐 4.5-5.5;采样器 DPM++2M;生成步数 30-40。② SD 3.5 Large Turbo
模型下载: /uploads/pic/20241024/stable-diffusion-3.5-large-turbo/tree/main (文末有资源包工作流)
使用方法:
更新 ComfyUI,将 SD 3.5 Large Tubro 放到 comfyui 根目录的 models/checkpoint 文件夹;下载 Clip_g.safetensors、Clip_l.safetensors 和 t5xxl_fp8.safetensors,放到 models/clip 文件夹;将 SD3.5L_Turbo_example_workflow 工作流文件拖入 ComfyUI 界面;采样器步数改为 4,cfg 改为 1.2 -1.6,其余用法和 Large 一样③ SD 3.5 Large Fp8
模型下载: /uploads/pic/20241024/main (文末有资源包与工作流)
Fp8 模型融合了 Clip 模型,因此和普通 SD 1.5 模型的用法是一样的,8G 显存可用:
更新 ComfyUI,下载 sd3.5_large_fp8_scaled 模型放到根目录的 models/checkpoint 文件夹;生成步数 20,采样器 DPM++2M。除了以上三个模型,SAI 还将于 10 月 29 日发布 SD 3.5 Medium 模型,并且后续还将推出对应的 Controlnet。
自 Flux dev 模型发布后,开源社区的目光就从 SD 系列转移到了 Flux 上,各类微调模型迅速涌现,已然有后来居上的趋势。 而此次 SD 3.5 的发布则可以视为是 SAI 发出的反攻信号,要重新夺回自己的开源社区的领导地位。
毕竟 Flux dev 不可商用,而且对显存要求也高,一定程度上限制了它的进一步发展应用。而 SD 3.5 在模型训练阶段就为后期微调做了兼容,再加上模型质量明显提升、可免费商用、消费级硬件适用等优势,肯定能在开源社区中发展、衍生出更多优质模型,重现 SDXL 发布时的繁荣景象。
那么以上就是本期为大家介绍的 SD 3.5 的相关内容,如果对你有帮助的话记得点赞、收藏、评论支持一波,我会有更动力为大家推荐新的干货内容~
文内的资源都可以在云盘内下载。ComfyUI 的学习门槛比较高,如果你想掌握它,建议先从 Stable Diffusion WebUI 开始,它更适合初学入门,学会后也能有助于我们快速掌握 ComfyUI 的用法。 我最新制作的 《零基础 AI 绘画入门指南》是一门面向 AI 绘画零基础人群的系统课程,包含 Stable Diffusion WebUI 全面细致的用法教学,并提供配套资源,能帮你快速掌握这款目前最热门的 AI 绘画工具。
想了解更多 AI 新鲜资讯的话,欢迎关注 AI 自学网 和微信视频号,每天都会分享最新的 AIGC 资讯和神器,让你轻松掌握 AI 发展动态。也欢迎大家扫描下方的二维码加入“ AI 知识交流群”,和我及其他设计师一起交流学习 AI 知识~
相关链接:
https://stability.ai/news/introducing-stable-diffusion-3-5https://comfyanonymous.github.io/ComfyUI_examples/sd3/?ref=blog.comfy.org推荐阅读:
文件名 如何下载使用 文件大小 提取码 下载来源 SD3.5模型2ftu 点此复制 登录下载- 免责声明
- 本文所包含的观点仅代表作者个人看法,不代表新火种的观点。在新火种上获取的所有信息均不应被视为投资建议。新火种对本文可能提及或链接的任何项目不表示认可。 交易和投资涉及高风险,读者在采取与本文内容相关的任何行动之前,请务必进行充分的尽职调查。最终的决策应该基于您自己的独立判断。新火种不对因依赖本文观点而产生的任何金钱损失负任何责任。