首页 > AI资讯 > 工具使用 > IPAdapterPlus插件手把手教程!用法更简单,可分别控制风格与构图

IPAdapterPlus插件手把手教程!用法更简单,可分别控制风格与构图

新火种    2024-04-11

大家好,这里是和你们一起探索 AI 的花生~

IP Adapter 是 SD 生态中一个非常强大的风格迁移插件,可以将一张图像的风格复制到新生成的图像中,有效提升我们的出图效率,目前在设计领域有广泛应用。

最近,ComfyUI IP Adapter Plus 的作者 @cubiq 重写了插件代码,对整体进行了升级更新。新插件在节点搭建和模型上读取上比之前更简单方便,并且支持的功能也更丰富了。而最让人惊喜的一点是 IP Adapter Plus 支持分别进行风格迁移、构图迁移和二者的联合使用,可以让我们更准确地控制出图效果。

通过新版 IP Adapter Plus 插件分别学习梵高的风格和蒙娜丽莎的构图

但此次更新后,我们之前所有包含 IP Adapter Plus 的工作流也都无法使用了,需要用新节点重新搭建。今天就为大家详细介绍一下新版插件的安装使用方法。

一、插件安装

Github 主页: /uploads/pic/20240411/ComfyUI_IPAdapter_plus (内有插件更新介绍)

在安装前,我们需要将 Comfyui 更新到最新版本;如果你之前安装过 IP Adapter Plus 插件,则需要先在 custom_nodes 内删除之前的文件夹。插件可以通过 Manager 安装,但是更推荐在终端通过 git clone /uploads/pic/20240411/ComfyUI_IPAdapter_plus.git 命令来安装,可以获取最新的更新内容。

二、安装基础模型

Github 主页中对需要安装的模型有详细描述,下载后按要求安装到指定路径即可,需要注意的内容有:

安装在 /ComfyUI/models/clip_vision 的两个文件下载后需要重命名,再放到对应的文件夹内;如果没有 /ComfyUI/models/ipadapter 这个文件夹,可以自己手动新建一个;models/ipadapter 内的模型并不需要全部下载,目前主要使用的有 ip-adapter-plus_sd15.safetensors 和 ip-adapter-plus_sdxl_vit-h.safetensors;文末网盘链接内有对应的模型资源,可以直接下载使用。

三、安装 FaceID 模型

如果你想通过 IP Adapter Plus 保持人物脸部特征一致,则需要再下载 FaceID 模型以及对应的 Lora 模型,并安装到指定路径。此外还需要部署 insightface 环境,具体部署方法可以看官方给的链接。

四、导入工作流

以上安装步骤完成后,记得重启 ComfyUI。在 IP Adapter Plus 根目录内有一个 example 文件夹,里面有官方提供的 13 个工作流,包含基础、进阶、FaceID、负面图像、分块等多种功能,大家可以直接导入 ComfyUI 中使用体验。官方 Github 主页中也有附上视频教学链接,里面对新功能有详细的介绍。

五、风格/构图迁移功能

风格迁移是 IP Adapter 最重要的功能,现在又新增了构图迁移功能,让它能发挥的作用更大了。下面就结合工作流文件,简单介绍一下它们的用法(工作流文件在文末云盘链接内)。

① 风格迁移(Style transfer)

使用风格迁移功能,需要在 IP Adapter Advanced 节点内将权重类型选为 Style transfer,目前仅支持 SDXL 模型。它可以将一张图像的风格、氛围完美迁移到另一个图像上,而不会影响图像的具体内容。使用时可以多调节 weight 参数,即使是 0.1 的调整也会带来很不一样的效果;也可以尝试不同的 embeds_scaling 缩放值。

② 构图迁移(Composition)

如果只想提取一张图像的构图,将 IP Adapter Advanced 节点内的 weight_type 改为 composition 就可以了。它可以学习一张图像中人物的姿势动作,或者画面的主体构图;如下图,新生成的赛博朋克房间像在镜头角度、窗户位置、家具摆放位置等方面与原图高度相似。这种方式与 controlnet 的线条约束相比会更灵活自由,在整体效果上也会更自然合理。

③ 风格&构图混合迁移

此功能中需要用到一个新的节点 IPAdapterStyleComposition,它支持同时导入风格参考图像和构图参考图像,实现分别控制。使用时同样可以多调整二者的权重,获得更准确的效果。

那么以上就是本期为大家介绍的 ComfyUI 插件 IP Adapter Plus 最新版本的相关内容,文内提到的模型及工作流文件都在文末的云盘链接内,有需要的小伙伴可以记得下载~

ComfyUI 的学习门槛比较高,如果你想掌握它,建议先从 Stable Diffusion WebUI 开始,它更适合初学入门,学会后也能有助于我们快速掌握 ComfyUI 的用法。 我最新制作的 《零基础 AI 绘画入门指南》是一门面向 AI 绘画零基础人群的系统课程,包含 Stable Diffusion WebUI 全面细致的用法教学,并提供配套资源,能帮你快速掌握这款目前最热门的 AI 绘画工具。

如果有关于文章的问题,欢迎在评论区留言,或者下方的二维码加入“ AI 绘画交流群”,和我及其他 设计师 一起交流学习 AI 知识~


相关推荐
免责声明
本文所包含的观点仅代表作者个人看法,不代表新火种的观点。在新火种上获取的所有信息均不应被视为投资建议。新火种对本文可能提及或链接的任何项目不表示认可。 交易和投资涉及高风险,读者在采取与本文内容相关的任何行动之前,请务必进行充分的尽职调查。最终的决策应该基于您自己的独立判断。新火种不对因依赖本文观点而产生的任何金钱损失负任何责任。