Stable diffusion 官方及第三方模型资源

本文整理来自 Stable diffusion 官方和第三方的一些经典模型资源推荐

官方模型

下面是 Stability 官方初始发布的Stable diffusion 各版本的原始发布地址

Stable diffusion 1.5

Stable diffusion 1.5
https://huggingface.co/stable-diffusion-v1-5/stable-diffusion-v1-5 Stable diffusion 1.5 inpainting https://huggingface.co/runwayml/stable-diffusion-inpainting/tree/main

Stable diffusion 2.0

Stable diffusion 2.0
https://huggingface.co/stabilityai/stable-diffusion-2-1/tree/main

Stable diffusion XL

Stable diffusion XL(较之前版本提升较大,对自然语言理解能力更强)
https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/tree/main

Stable diffusion XL turbo(速度快,但效果有一定损失)
https://huggingface.co/stabilityai/sdxl-turbo

stable-diffusion-xl-refiner-1.0 https://huggingface.co/stabilityai/stable-diffusion-xl-refiner-1.0

融合模型推荐

SD1.5

DreamShaper 8 https://civitai.com/models/4384?modelVersionId=128713 DreamShaper 8 - inpainting https://civitai.com/models/4384?modelVersionId=131004

SD XL


Flux 模型资源合集

本文整理了 Flux 模型的各个版本及相关资源,包括官方发布的工具、社区优化版本、插件等内容。

Flux 官方工具套件

Black Forest Labs 于 2024 年 11 月 21 日发布了 Flux.1 Tools 工具套件,包含以下四个主要功能:

工具名称功能描述开源版本API版本
FLUX.1 Fill图像修复和扩展工具Dev版本Pro版本
FLUX.1 Depth基于深度图的结构引导Dev版本Pro版本
FLUX.1 Canny基于边缘检测的结构引导Dev版本Pro版本
FLUX.1 Redux图像混合与重建适配器Dev版本Pro版本

Flux 基础模型版本

版本名称许可证显存要求下载链接特点
FLUX.1 Pro商业许可16GB+API调用最佳性能和质量
FLUX.1 Dev非商用许可16GB+下载开源研究版本
FLUX.1 SchnellApache 2.012GB+下载轻量商用版本

社区优化版本

版本名称作者显存要求下载链接特点
Flux FP8ComfyUI8GB+Dev / Schnell单文件版本
Flux GGUFCity966GB+Dev / Schnell低显存优化
Flux NF4lllyasviel6GB+V2版本需要特定插件

ControlNet 资源

名称作者下载链接说明
Flux ControlNet CollectionsXLabs-AI下载控制网络合集
Flux Union Controlnet ProShakker-Labs下载专业联合控制网络
Flux Depth ControlnetShakker-Labs下载深度图控制网络
Flux Canny ControlnetInstantX下载边缘检测控制网络
Flux Inpainting ControlnetAlimama下载修复控制网络

LoRA 资源

名称作者下载链接风格类型
RealismLoraXLabs-AI下载写实风格
Text PosterShakker-Labs下载文字海报风格
Frosting Lanealvdansen下载艺术风格
Softserve Animealvdansen下载动漫风格
Half Illustrationdavisbro下载插画风格
AntiBlurShakker-Labs下载清晰增强

在线服务

服务名称链接说明
Hugging Face DemoDev / Schnell在线体验
Replicate链接API服务
Mystic.ai链接API服务
FAL.ai链接API服务

训练工具

名称类型链接说明
Flux Gym本地训练GitHub12GB显存即可训练
Flux LoRA Trainer在线训练Replicate支持少量样本训练
Flux DreamBooth示例代码GitHubDreamBooth训练示例

相关教程

  • Flux 安装指南和文生图教程
  • Flux Fill 工作流程详细教程
  • Flux Redux 工作流程详细教程
  • Flux 图生图工作流教程

Stable diffusion LoRA 模型资源下载

对于下载 Stable Diffusion 系列模型来说,civitai 总会是一个最佳选择 https://civitai.com/models

如果你需要下载LoRA模型,在 Filters 里选择 LoRA 即可


ControlNet 模型

下面是我整理的 ControlNet 相关模型资源,你可以点击查看对应的不同版本的模型信息

ControlNet 是什么?它的作用是什么?

ControlNet 是 Stable Diffusion 模型的一个扩展,增强了对图像生成过程的控制。它允许根据用户规格提供更精确和定制化的图像输出。

ControlNet 的功能和特点

  1. 增强控制

    • ControlNet 提供额外的输入,如草图、遮罩或特定条件,以指导图像生成过程。这就像给艺术家一个粗略的草图,并要求他们基于此创作一幅画,同时允许他们有创造性的自由。
  2. 提高准确性

    • 没有 ControlNet,生成的图像可能会偏离用户的期望。通过提供额外的控制信号,ControlNet 帮助模型更准确地理解用户的意图,从而生成更符合描述的图像。
  3. 多样化的应用

    • ControlNet 可以应用于多种场景,例如协助艺术家提炼他们的创意想法,或帮助设计师快速迭代和优化设计草稿。

易于理解的类比

想象 Stable Diffusion 是一位有才华但有些不可预测的画家。它可以根据你的描述(例如,“阳光明媚的海滩场景”)创作一幅画。然而,有时画家可能会包括一些意想不到的细节,比如海滩上的一只巨大的蓝色大象。

ControlNet 就像一个细致的艺术指导,给画家提供了一个更详细的蓝图,指定了要包括什么和避免什么。例如,指导者可能会说:“海滩上不要有大象,但要包括一把伞和一些沙滩椅。”这样,画家就可以创作出一个更符合你期望的海滩场景。

有了 ControlNet,Stable Diffusion 不仅捕捉到了用户描述的精髓,而且在用户的指导下生成了更精确和预期的结果。


Flux ControlNet

本文将会将整理目前适用于 Flux 生态的 ControlNet 模型

XLabs-AI/flux-controlnet-collections

XLabs-AI/flux-controlnet-collections 是一个为 FLUX.1-dev 模型提供的 ControlNet 检查点集合。这个仓库由 Black Forest Labs 开发,旨在为 Flux 生态系统提供更多的控制选项。

深度图示例 1 Canny 边缘检测示例 深度图示例 2

主要特点:

  1. 支持三种 ControlNet 模型:

    • Canny(边缘检测)
    • HED(边缘检测)
    • Depth(深度图,基于 Midas)
  2. 所有模型都在 1024x1024 分辨率上训练,适用于生成 1024x1024 分辨率的图像。

  3. 提供 v3 版本,这是经过改进的更真实的版本,可以直接在 ComfyUI 中使用。

  4. 提供了 ComfyUI 的自定义节点和工作流程,方便用户快速上手。

  5. 提供了示例图片和生成结果,展示了模型的效果。

使用方法:

  1. 通过官方仓库的 main.py 脚本使用。
  2. 在 ComfyUI 中使用提供的自定义节点和工作流程,官方提供的 workflow https://huggingface.co/XLabs-AI/flux-controlnet-collections/tree/main/workflows
  3. 使用 Gradio 演示界面。

在 comfyui 中使用官方的工作流 需要安装以下两个插件

许可证:

这些模型权重遵循 FLUX.1 [dev] 非商业许可证。

链接:

以下是 XLabs-AI/flux-controlnet-collections 仓库中提供的 ControlNet 模型列表:

模型名称文件大小上传日期描述模型链接下载链接
flux-canny-controlnet.safetensors1.49 GB2023 年 8 月 30 日Canny 边缘检测 ControlNet 模型(初始版本)查看下载
flux-canny-controlnet_v2.safetensors1.49 GB2023 年 8 月 30 日Canny 边缘检测 ControlNet 模型(v2 版本)查看下载
flux-canny-controlnet-v3.safetensors1.49 GB2023 年 8 月 30 日Canny 边缘检测 ControlNet 模型(v3 版本)查看下载
flux-depth-controlnet.safetensors1.49 GB2023 年 8 月 30 日深度图 ControlNet 模型(初始版本)查看下载
flux-depth-controlnet_v2.safetensors1.49 GB2023 年 8 月 30 日深度图 ControlNet 模型(v2 版本)查看下载
flux-depth-controlnet-v3.safetensors1.49 GB2023 年 8 月 30 日深度图 ControlNet 模型(v3 版本)查看下载
flux-hed-controlnet.safetensors1.49 GB2023 年 8 月 30 日HED 边缘检测 ControlNet 模型(初始版本)查看下载
flux-hed-controlnet-v3.safetensors1.49 GB2023 年 8 月 30 日HED 边缘检测 ControlNet 模型(v3 版本)查看下载

这个项目为 Flux 生态系统提供了强大的 ControlNet 模型,使用户能够更精确地控制图像生成过程,特别适合需要基于边缘检测或深度信息进行图像生成的应用场景。

InstantX Flux Union ControlNet

InstantX Flux Union ControlNet 是一个多功能的 ControlNet 模型,专为 FLUX.1 开发版设计。这个模型整合了多种控制模式,使用户能够更灵活地控制图像生成过程。

InstantX Flux Union ControlNet

主要特点:

  1. 多种控制模式:支持多种控制模式,包括 Canny 边缘检测、Tile(图块)、深度图、模糊、姿势控制等。

  2. 高性能:大多数控制模式都达到了较高的有效性,特别是 Canny、Tile、深度图、模糊和姿势控制等模式。

  3. 持续优化:开发团队正在不断改进模型,以提高其性能和稳定性。

  4. 兼容性:与 FLUX.1 开发版基础模型完全兼容,可以轻松集成到现有的 FLUX 工作流程中。

  5. 多控制推理:支持同时使用多个控制模式,为用户提供更精细的图像生成控制。

使用方法:

  1. 单一控制模式

    • 加载 Union ControlNet 模型
    • 选择所需的控制模式(如 Canny、深度图等)
    • 设置控制图像和相关参数
    • 生成图像
  2. 多控制模式

    • 加载 Union ControlNet 模型作为 FluxMultiControlNetModel
    • 为每个控制模式设置不同的控制图像和参数
    • 同时应用多个控制模式来生成图像

注意事项:

  • 当前版本是 beta 版本,可能还未完全训练完成,在使用过程中可能会遇到一些不完美的情况。
  • 某些控制模式(如灰度控制)的有效性可能较低,建议优先使用高有效性的模式。
  • 与专门的单一功能 ControlNet 模型相比,Union 模型在某些特定任务上的表现可能略有不及,但它提供了更大的灵活性和多功能性。

资源链接:

文件名大小查看链接下载链接
diffusion_pytorch_model.safetensors6.6 GB查看下载

注意:下载模型后,建议将文件重命名为更具描述性的名称,如 “flux_union_controlnet.safetensors”,以便于今后的文件管理和识别。

这个 Union ControlNet 模型为 FLUX 生态系统提供了强大而灵活的图像控制工具,特别适合需要在单个模型中实现多种控制功能的用户。随着持续的优化和更新,它有望成为 FLUX 平台上最全面和强大的 ControlNet 模型之一。

InstantX Flux Canny ControlNet

除了 Union ControlNet 模型,InstantX 还提供了专门用于 Canny 边缘检测的 ControlNet 模型。这个模型专注于使用 Canny 边缘检测算法来控制图像生成过程,为用户提供了更精确的边缘控制能力。

InstantX Flux Canny ControlNet 示例

主要特点:

  1. 专注于 Canny 边缘检测:这个模型专门针对 Canny 边缘检测进行了优化,可以更好地处理和利用边缘信息。

  2. 高分辨率训练:模型在总像素数为 10241024 的多尺度环境下进行训练,使用 88 的批量大小训练了 30k 步。

  3. 与 FLUX.1 兼容:专为 FLUX.1 开发版设计,可以无缝集成到 FLUX 工作流程中。

  4. 使用 bfloat16 精度:模型使用 bfloat16 精度,可以在保持精度的同时提高计算效率。

使用方法:

  1. 安装最新版本的 Diffusers 库。
  2. 加载 Flux Canny ControlNet 模型和 FLUX.1 基础模型。
  3. 准备输入图像并应用 Canny 边缘检测。
  4. 使用检测到的边缘作为控制输入生成图像。

Jasperai Flux.1-dev ControlNets 系列

Jasperai 为 Flux.1-dev 开发了一系列 ControlNet 模型,这些模型旨在为 AI 图像生成提供更精确的控制。这个系列包括表面法线、深度图和超分辨率模型,为用户提供了多样化的创作工具。

您可以在 Hugging Face 上的 Jasperai 集合页面 查看这些模型的详细信息。

1. 表面法线 ControlNet 模型

表面法线 ControlNet 模型 使用表面法线图来指导图像生成。这个模型专门针对表面法线信息进行了优化,可以更好地处理和利用物体表面的几何信息。

主要特点:

  • 专注于表面法线处理
  • 提供物体表面的精确几何信息
  • 增强图像的深度感和真实感
  • 与 FLUX.1 开发版兼容

表面法线 ControlNet 模型示例

2. 深度图 ControlNet 模型

深度图 ControlNet 模型 利用深度信息来控制图像生成。这个模型专门针对深度图信息进行了优化,可以更好地理解和利用场景的空间结构信息。

主要特点:

  • 专注于深度图处理
  • 提供场景的空间结构信息
  • 改善图像的透视感和空间感
  • 与 FLUX.1 开发版兼容

深度图 ControlNet 模型示例

3. 超分辨率 ControlNet 模型

超分辨率 ControlNet 模型 专注于提高低分辨率图像的质量。这个模型可以将低质量图像转换为高分辨率版本,重建和增强图像细节。

主要特点:

  • 专注于图像超分辨率处理
  • 将低分辨率图像转换为高分辨率版本
  • 重建和增强图像细节
  • 与 FLUX.1 开发版兼容

超分辨率 ControlNet 模型示例

这些模型为 AI 图像生成提供了更精确的控制,使创作者能够生成更加真实和细致的图像。每个模型都针对特定的图像处理需求而设计,为用户提供了多样化的创作工具。用户可以根据自己的需求选择合适的模型来实现不同的图像生成效果。


ControlNet for Stable Diffusion XL

ControlNet 官方并未提供任何版本的 SDXL 的模型,所以本文主要是整理收集了不同作者提供的 ControlNet 模型,由于时间原因,我并不能一一试用对应模型,所以你可以访问我提供模型仓库的链接查看更多相关介绍

Collections of SDXL models

hugging face: https://huggingface.co/lllyasviel/sd_control_collection/tree/main

文件名称大小添加日期下载链接
diffusers_xl_canny_full.safetensors2.5 GB2023年9月下载链接
diffusers_xl_canny_mid.safetensors545 MB2023年9月下载链接
diffusers_xl_canny_small.safetensors320 MB2023年9月下载链接
diffusers_xl_depth_full.safetensors2.5 GB2023年9月下载链接
diffusers_xl_depth_mid.safetensors545 MB2023年9月下载链接
diffusers_xl_depth_small.safetensors320 MB2023年9月下载链接
ioclab_sd15_recolor.safetensors723 MB2023年9月下载链接
ip-adapter_sd15.pth44.6 MB2023年9月下载链接
ip-adapter_sd15_plus.pth158 MB2023年9月下载链接
ip-adapter_xl.pth703 MB2023年9月下载链接
kohya_controllllite_xl_blur.safetensors46.2 MB2023年9月下载链接
kohya_controllllite_xl_blur_anime.safetensors46.2 MB2023年9月下载链接
kohya_controllllite_xl_blur_anime_beta.safetensors22.5 MB2023年9月下载链接
kohya_controllllite_xl_canny.safetensors46.2 MB2023年9月下载链接
kohya_controllllite_xl_canny_anime.safetensors46.2 MB2023年9月下载链接
kohya_controllllite_xl_depth.safetensors46.2 MB2023年9月下载链接
kohya_controllllite_xl_depth_anime.safetensors11.3 MB2023年9月下载链接
kohya_controllllite_xl_openpose_anime.safetensors46.2 MB2023年9月下载链接
kohya_controllllite_xl_openpose_anime_v2.safetensors46.2 MB2023年9月下载链接
kohya_controllllite_xl_scribble_anime.safetensors46.2 MB2023年9月下载链接
sai_xl_canny_128lora.safetensors396 MB2023年9月下载链接
sai_xl_canny_256lora.safetensors774 MB2023年9月下载链接
sai_xl_depth_128lora.safetensors396 MB2023年9月下载链接
sai_xl_depth_256lora.safetensors774 MB2023年9月下载链接
sai_xl_recolor_128lora.safetensors396 MB2023年9月下载链接
sai_xl_recolor_256lora.safetensors774 MB2023年9月下载链接
sai_xl_sketch_128lora.safetensors396 MB2023年9月下载链接
sai_xl_sketch_256lora.safetensors774 MB2023年9月下载链接
sargezt_xl_depth.safetensors2.5 GB2023年9月下载链接
sargezt_xl_depth_faid_vidit.safetensors2.5 GB2023年9月下载链接
sargezt_xl_depth_zeed.safetensors2.5 GB2023年9月下载链接
sargezt_xl_softedge.safetensors2.5 GB2023年9月下载链接
t2i-adapter_diffusers_xl_canny.safetensors158 MB2023年9月下载链接
t2i-adapter_diffusers_xl_depth_midas.safetensors158 MB2023年9月下载链接
t2i-adapter_diffusers_xl_depth_zoe.safetensors158 MB2023年9月下载链接
t2i-adapter_diffusers_xl_lineart.safetensors158 MB2023年9月下载链接
t2i-adapter_diffusers_xl_openpose.safetensors158 MB2023年9月下载链接
t2i-adapter_diffusers_xl_sketch.safetensors158 MB2023年9月下载链接
t2i-adapter_xl_canny.safetensors155 MB2023年9月下载链接
t2i-adapter_xl_openpose.safetensors158 MB2023年9月下载链接
t2i-adapter_xl_sketch.safetensors155 MB2023年9月下载链接
thibaud_xl_openpose.safetensors2.5 GB2023年9月下载链接
thibaud_xl_openpose_256lora.safetensors774 MB2023年9月下载链接

qinglong_controlnet-lllite

访问 hugging face 查看更多信息: https://huggingface.co/bdsqlsz/qinglong_controlnet-lllite/tree/main

文件名称大小日期下载链接
bdsqlsz_controlllite_xl_canny.safetensors224 MB2023年11月下载链接
bdsqlsz_controlllite_xl_depth.safetensors224 MB2023年11月下载链接
bdsqlsz_controlllite_xl_depth_V2.safetensors224 MB2023年11月下载链接
bdsqlsz_controlllite_xl_dw_openpose.safetensors224 MB2023年11月下载链接
bdsqlsz_controlllite_xl_lineart_anime_denoise.safetensors224 MB2023年11月下载链接
bdsqlsz_controlllite_xl_mlsd_V2.safetensors224 MB2023年11月下载链接
bdsqlsz_controlllite_xl_normal.safetensors224 MB2023年11月下载链接
bdsqlsz_controlllite_xl_normal_dsine.safetensors224 MB2023年11月下载链接
bdsqlsz_controlllite_xl_recolor_luminance.safetensors224 MB2023年11月下载链接
bdsqlsz_controlllite_xl_segment_animeface.safetensors224 MB2023年11月下载链接
bdsqlsz_controlllite_xl_segment_animeface_V2.safetensors224 MB2023年11月下载链接
bdsqlsz_controlllite_xl_sketch.safetensors224 MB2023年11月下载链接
bdsqlsz_controlllite_xl_softedge.safetensors224 MB2023年11月下载链接
bdsqlsz_controlllite_xl_t2i-adapter_color_shuffle.safetensors224 MB2023年11月下载链接
bdsqlsz_controlllite_xl_tile_anime_alpha.safetensors224 MB2023年11月下载链接
bdsqlsz_controlllite_xl_tile_anime_beta.safetensors224 MB2023年11月下载链接
bdsqlsz_controlllite_xl_tile_realistic.safetensors317 MB2023年11月下载链接

其它

你可以在 civitai 上找到由其它用户创建的 ControlNet 模型


ControlNet v1.1 模型支持stable diffusion 1.5 或2.0

stable diffusion 1.5 和 stable diffusion 2.0的模型是兼容的,所以ControlNet v1.1的模型文件也可以在stable diffusion 2.0上使用。

这篇文章是 ComfyuUI-Wiki 整理的不同类型的支持 SD1.5 / 2.0 的ControlNet 模型

ControlNet v1.1 对应模型文件及下载

Large - 较大体积来自 lllyasviel 提供的版本

提供者: lllyasviel
Github主页:https://github.com/lllyasviel/ControlNet-v1-1-nightly
Hugging face仓库:https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main 兼容Stable diffusion 版本: stable diffusion v1.5 模型文件大小: 1.45 GB 较大

文件名大小更新时间说明下载链接
control_v11e_sd15_ip2p.pth1.45 GB2023年5月25日下载链接
control_v11e_sd15_shuffle.pth1.45 GB2023年5月25日下载链接
control_v11f1e_sd15_tile.pth1.45 GB2023年5月25日下载链接
control_v11f1p_sd15_depth.pth1.45 GB2023年5月25日下载链接
control_v11p_sd15_canny.pth1.45 GB2023年5月25日下载链接
control_v11p_sd15_inpaint.pth1.45 GB2023年5月25日下载链接
control_v11p_sd15_lineart.pth1.45 GB2023年5月25日下载链接
control_v11p_sd15_mlsd.pth1.45 GB2023年5月25日下载链接
control_v11p_sd15_normalbae.pth1.45 GB2023年5月25日下载链接
control_v11p_sd15_openpose.pth1.45 GB2023年5月25日下载链接
control_v11p_sd15_scribble.pth1.45 GB2023年5月25日下载链接
control_v11p_sd15_seg.pth1.45 GB2023年5月25日下载链接
control_v11p_sd15_softedge.pth1.45 GB2023年5月25日下载链接
control_v11p_sd15s2_lineart_anime.pth1.45 GB2023年5月25日下载链接

Medium - Safetensors/FP16 中等体积,来自 comfyanonymous 提供的版本

提供者:comfyanonymous Huggingface 仓库地址https://huggingface.co/comfyanonymous/ControlNet-v1-1_fp16_safetensors/tree/main 模型文件大小: 723MB 说明: 由 ComfyUI 作者huggingface 仓库提供,在 ComfyUI 中使用体验更好,也兼容其他 UI

文件名大小日期下载链接
control_v11e_sd15_ip2p_fp16.safetensors723 MB2023年4月下载链接
control_v11e_sd15_shuffle_fp16.safetensors723 MB2023年4月下载链接
control_v11f1e_sd15_tile_fp16.safetensors723 MB2023年4月下载链接
control_v11f1p_sd15_depth_fp16.safetensors723 MB2023年4月下载链接
control_v11p_sd15_canny_fp16.safetensors723 MB2023年4月下载链接
control_v11p_sd15_inpaint_fp16.safetensors723 MB2023年4月下载链接
control_v11p_sd15_lineart_fp16.safetensors723 MB2023年4月下载链接
control_v11p_sd15_mlsd_fp16.safetensors723 MB2023年4月下载链接
control_v11p_sd15_normalbae_fp16.safetensors723 MB2023年4月下载链接
control_v11p_sd15_openpose_fp16.safetensors723 MB2023年4月下载链接
control_v11p_sd15_scribble_fp16.safetensors723 MB2023年4月下载链接
control_v11p_sd15_seg_fp16.safetensors723 MB2023年4月下载链接
control_v11p_sd15_softedge_fp16.safetensors723 MB2023年4月下载链接
control_v11p_sd15s2_lineart_anime_fp16.safetensors723 MB2023年4月下载链接
control_v11u_sd15_tile_fp16.safetensors723 MB2023年4月下载链接

Small - Control lora Safetensors/FP16 较小体积来自 comfyanonymous 提供的版本

提供者:comfyanonymous Huggingface 仓库地址https://huggingface.co/comfyanonymous/ControlNet-v1-1_fp16_safetensors/tree/main 模型文件大小: 136MB较小 说明: 由 ComfyUI 作者huggingface 仓库提供,在 ComfyUI 中使用体验更好,也兼容其他 UI

文件名大小日期下载链接
control_lora_rank128_v11e_sd15_ip2p_fp16.safetensors136 MB2023年4月下载链接
control_lora_rank128_v11e_sd15_shuffle_fp16.safetensors136 MB2023年4月下载链接
control_lora_rank128_v11f1e_sd15_tile_fp16.safetensors136 MB2023年4月下载链接
control_lora_rank128_v11f1p_sd15_depth_fp16.safetensors136 MB2023年4月下载链接
control_lora_rank128_v11p_sd15_canny_fp16.safetensors136 MB2023年4月下载链接
control_lora_rank128_v11p_sd15_inpaint_fp16.safetensors136 MB2023年4月下载链接
control_lora_rank128_v11p_sd15_lineart_fp16.safetensors136 MB2023年4月下载链接
control_lora_rank128_v11p_sd15_mlsd_fp16.safetensors136 MB2023年4月下载链接
control_lora_rank128_v11p_sd15_normalbae_fp16.safetensors136 MB2023年4月下载链接
control_lora_rank128_v11p_sd15_openpose_fp16.safetensors136 MB2023年4月下载链接
control_lora_rank128_v11p_sd15_scribble_fp16.safetensors136 MB2023年4月下载链接
control_lora_rank128_v11p_sd15_seg_fp16.safetensors136 MB2023年4月下载链接
control_lora_rank128_v11p_sd15_softedge_fp16.safetensors136 MB2023年4月下载链接
control_lora_rank128_v11p_sd15s2_lineart_anime_fp16.safetensors136 MB2023年4月下载链接

ControlNet for StableDiffusion 2.1

作者: thibaud
Hugging face仓库:https://huggingface.co/thibaud/controlnet-sd21 兼容Stable diffusion 版本: stable diffusion v2.1

下面文件格式有分为 .safetensors.ckpt 两种格式,通常如果你只是要使用对应的模型,则下载.safetensors 的文件即可

文件名大小更新时间说明下载链接
control_v11p_sd21_ade20k.safetensors728 MB2023年4月下载链接
control_v11p_sd21_canny.ckpt9.59 GB2023年4月下载链接
control_v11p_sd21_canny.safetensors728 MB2023年4月下载链接
control_v11p_sd21_color.safetensors728 MB2023年4月下载链接
control_v11p_sd21_depth.ckpt9.59 GB2023年4月下载链接
control_v11p_sd21_depth.safetensors728 MB2023年4月下载链接
control_v11p_sd21_hed.ckpt9.59 GB2023年4月下载链接
control_v11p_sd21_hed.safetensors728 MB2023年4月下载链接
control_v11p_sd21_lineart.safetensors728 MB2023年4月下载链接
control_v11p_sd21_normalbae.safetensors728 MB2023年4月下载链接
control_v11p_sd21_openpose.ckpt9.59 GB2023年4月下载链接
control_v11p_sd21_openpose.safetensors728 MB2023年4月下载链接
control_v11p_sd21_openposev2.safetensors728 MB2023年4月下载链接
control_v11p_sd21_scribble.ckpt9.59 GB2023年4月下载链接
control_v11p_sd21_scribble.safetensors728 MB2023年4月下载链接
control_v11p_sd21_zoedepth.safetensors728 MB2023年4月下载链接

如何在 ComfyUI 中使用 controlNet 模型

关于 ControlNet 模型的使用集中在下面的文章中

对应文章将讲解以下内容

  • 在ComfyUI中要如何安装 ControlNet 模型
  • 如何在 ComfyUI 中调用 ControlNet 模型
  • ComfyUI ControlNet 工作流和示例
  • 如何使用多个 ControlNet 模型等

controlNet 1.1模型概述

ControlNet 1.1 是在ControlNet 1.0的基础上进行更新和优化的版本,具有相同的体系结构。它包括了所有以前的模型,并且增加了几个新的模型,使得总数量达到了14个。

新功能与改进 ControlNet 1.1 引入了一些新功能和改进:

  • 新型软边缘:新增了一种名为“SoftEdge_safe”的软边缘处理方式,以提高图像边缘的自然度。
  • 预处理器扩展:新增了多个预处理器,如Canny、Depth、inpaint等,这些预处理器可以用于不同的图像处理任务。
  • 鲁棒性和质量提升:版本主要增强了模型的鲁棒性和生成图像的质量。

controlNet 1.1 应用场景

ControlNet 1.1 可以应用于多种AI绘画场景,包括但不限于:

图像修复:利用inpaint预处理器对破损或缺失的图像部分进行填充和修复。 边缘检测:使用Canny预处理器提取图像的边缘信息,进一步应用于其他图像处理任务 。 深度图生成:通过Depth预处理器生成图像的深度信息,用于创建更加立体的视觉效果。


ControlNet v1.0 模型SD 1.5

作者: lllyasviel
Github仓库:https://github.com/lllyasviel/ControlNet Hugging face仓库:https://huggingface.co/lllyasviel/ControlNet/tree/main 兼容Stable diffusion 版本: stable diffusion SD1.5 / 2.0

这里整理的是 ControlNet 作者 lllyasviel 最早提供的ControlNet 的模型资源

ControlNet v1.0 对应模型文件及下载

文件名大小更新时间说明下载链接
control_sd15_canny.pth5.71 GB2023年2月下载链接
control_sd15_depth.pth5.71 GB2023年2月下载链接
control_sd15_hed.pth5.71 GB2023年2月下载链接
control_sd15_mlsd.pth5.71 GB2023年2月下载链接
control_sd15_normal.pth5.71 GB2023年2月下载链接
control_sd15_openpose.pth5.71 GB2023年2月下载链接
control_sd15_scribble.pth5.71 GB2023年2月下载链接
control_sd15_seg.pth5.71 GB2023年2月下载链接

如何在 ComfyUI 中使用 controlNet 模型

关于 ControlNet 模型的使用集中在下面的文章中

对应文章将讲解以下内容

  • 在ComfyUI中要如何安装 ControlNet 模型
  • 如何在 ComfyUI 中调用 ControlNet 模型
  • ComfyUI ControlNet 工作流和示例
  • 如何使用多个 ControlNet 模型等

controlNet原理

ControlNet的基本原理是通过添加额外的控制条件来引导扩散模型生成图像。具体来说,它将原始神经网络复制为两个版本:一个“锁定”的副本和一个“可训练”的副本。在使用过程中,可训练副本会根据新的控制条件进行学习和调整,而被锁定的副本则保持原有的权重不变,从而确保扩散模型本身的生成效果不受影响。

ControlNet 使用的使用场景

Stable Diffusion ControlNet 1.0 是一个强大的插件,能够通过各种条件来控制图像生成。在不同类型的图像生成任务中,可以灵活应用该插件以达到预期效果。以下是几种具体的应用方法:

  1. 图像精准控制 ControlNet 可以根据边缘检测、草图处理或人体姿势等各种条件来控制图像生成。例如,在需要对人物的特定部分进行详细描绘时,可以通过定义这些条件来实现精准的图像生成。

  2. 固定构图与姿势定义 ControlNet 允许用户固定图像的构图和定义姿势,从而生成符合预期的图像。这对于需要特定动作或姿态的角色设计尤其有用。

  3. 描绘轮廓与线稿生成 使用ControlNet,仅凭线稿就能生成一张丰满精致的插画。这在艺术创作中非常实用,特别是在需要从简单的线条开始构建复杂图像的情况下。

  4. 头像转二次元效果 ControlNet 还可以用于将真实系头像转换为二次元风格,并且能准确还原原图中的人物发型和发色。这种功能对于动漫制作和角色设计非常有帮助。


ComfyUI 自定义节点插件推荐

以下是一些优秀的 ComfyUI 自定义节点插件推荐,这些插件可以大大增强 ComfyUI 的功能和使用体验:

插件名称简介GitHub 链接GitHub 星标
ComfyUIComfyUI 的核心框架,提供了革命性的 AI 图像生成能力和高度可定制的节点式界面,是 AI 艺术创作的基石。链接GitHub Repo stars
ComfyUI-manager全能型节点管理工具,支持一键安装、更新、删除和管理各类 ComfyUI 自定义节点,大大简化了插件管理流程。链接GitHub Repo stars
ComfyUI-Custom-Scripts多功能增强套件,集成了图像浏览器、会话历史记录、工作流保存等实用功能,显著提升了用户体验。链接GitHub Repo stars
comfyui_controlnet_auxControlNet 预处理器的集大成者,将多种图像预处理技术整合到一个强大的 AIO Aux Preprocessor 节点中。链接GitHub Repo stars
rgthree-comfy工作流优化大师,提供了一系列精心设计的节点,旨在简化复杂操作,提高工作效率。链接GitHub Repo stars
ComfyUI_LayerStylePhotoshop 功能的 AI 化身,不仅移植了图层样式,还创新性地加入了 AI 驱动的背景移除和智能抠图功能。链接GitHub Repo stars
comfyui-inpaint-nodes图像修复的革新者,集成了包括 SDXL Fooocus、LaMa、MAT 在内的多种先进修复算法,大幅提升修复质量。链接GitHub Repo stars
ComfyUI-N-Sidebar界面交互的革新者,引入了直观的侧边栏设计,支持节点快速访问、智能搜索和个性化收藏,极大提升了工作效率。链接GitHub Repo stars
ComfyUI-KJNodes工作流整理专家,通过创新的 set/get 机制,巧妙解决了复杂工作流中的”面条线”问题,使界面更加清晰整洁。链接GitHub Repo stars
cg-use-everywhere无线连接的先驱,突破传统连线限制,实现了同类型接口的智能无线连接,大幅简化了复杂工作流的构建过程。链接GitHub Repo stars
ComfyUI-AnimateDiff-EvolvedAI 动画制作的新纪元,提供了丰富的动画生成和编辑工具,是创作高质量 AI 动画的必备利器。链接GitHub Repo stars
ComfyUI-IF_AI_toolsAI 创意助手,通过整合本地大语言模型,为图像生成提供智能化的提示词生成和优化建议。链接GitHub Repo stars
ComfyUI-Easy-Use全能型节点整合包,在 tinyterraNodes 的基础上进行了深度优化和扩展,为用户提供了一站式的节点解决方案。链接GitHub Repo stars
sdxl_prompt_styler提示词设计师,基于预设模板智能生成和优化提示词,帮助用户更轻松地创造出理想的图像风格。链接GitHub Repo stars
ComfyUI_Fill-Nodes图像批处理专家,提供了灵活的图像序列和随机提取功能,极大地提高了批量图像处理的效率和多样性。链接GitHub Repo stars

这些插件大大扩展了 ComfyUI 的功能,从基本的界面优化到高级的图像处理和动画生成,为用户提供了丰富的工具和选择。建议根据自己的需求选择合适的插件进行安装和使用,以充分发挥 ComfyUI 的潜力。

注意:在安装和使用这些插件时,请务必查看各插件的官方文档,了解其具体的安装方法、使用说明和注意事项。同时,请确保插件与你当前使用的 ComfyUI 版本兼容。


常用 Negative Embeddings 推荐

SD1.5 版本 Embeddings 模型

  • badhandv4
  • EasyNegative
  • ng_deepnegative_v1_75t

SDXL1.0 版本 Embeddings 模型

  • unaestheticXL_AYv1

Upscale Models SD放大模型资源

以下是我收集的一些放大模型的资源库。 你可以在 https://openmodeldb.info/ 找到各种用于照片、人物、动画等的放大模型。

BSRGAN

https://github.com/cszn/BSRGAN https://openmodeldb.info/models/2x-BSRGAN https://openmodeldb.info/models/4x-BSRGAN

Swin2SR

https://github.com/mv-lab/swin2sr

SwinIR

https://github.com/JingyunLiang/SwinIR https://openmodeldb.info/users/jingyunliang

Real-ESRGAN

https://github.com/xinntao/Real-ESRGAN https://openmodeldb.info/models/2x-realesrgan-x2plus https://openmodeldb.info/models/4x-realesrgan-x4plus


VAE 模型资源

SDXL VAE

https://huggingface.co/stabilityai/sdxl-vae/tree/main


UNET 模型资源与介绍

Stable Diffusion UNET 模型资源

模型名称链接说明
CompVis/stable-diffusion-v1-4 UNet下载链接Stable Diffusion v1.4 的 UNET 模型
stabilityai/stable-diffusion-xl-base-1.0 UNet下载链接Stable Diffusion XL 1.0 的 UNET 模型
SD-Turbo UNET下载链接SD-Turbo 的 UNET 模型,用于快速推理
SD XL Turbo UNET下载链接SD XL Turbo 的 UNET 模型,用于大规模快速推理

UNET 架构及其变体

1. 标准 UNET

  • 论文: UNet: Convolutional Networks for Biomedical Image Segmentation
  • 简介: UNET 是一种用于图像分割的卷积神经网络架构。它由一个收缩路径(编码器)和一个扩展路径(解码器)组成,形似字母 “U”。UNET 最初是为生物医学图像分割而设计的,但现在已广泛应用于各种图像处理任务。

2. UNet++ (UNet Extended)

3. Attention UNet

  • 论文: Attention U-Net: Learning Where to Look for the Pancreas
  • 简介: Attention UNet 在标准 UNET 的基础上引入了注意力机制。这使得模型能够在生成输出时更好地关注图像的相关部分,提高了分割的准确性,尤其是在处理复杂或小目标时。

4. Residual UNet

  • 简介: Residual UNet 结合了 UNET 架构和残差连接。残差连接有助于解决深度网络中的梯度消失问题,使得训练更深的网络成为可能,从而提高模型的性能和表达能力。

UNET 及其变体在图像分割、生成和处理任务中发挥着重要作用。在 Stable Diffusion 等图像生成模型中,UNET 被用作核心组件之一,负责从噪声中逐步生成高质量图像。了解这些架构有助于我们更好地理解和应用这些强大的深度学习工具。


ComfyUI 官网与 ComfyUI 官方资源

ComfyUI 是一个强大的用户界面工具,专为 AI 绘图和图像生成而设计。以下是一些关于 ComfyUI 官网和 ComfyUI 官方资源的信息,帮助你更好地了解和使用这个工具。

ComfyUI 官网

ComfyUI 官网是获取最新版本、更新日志和官方公告的最佳来源。你可以在 ComfyUI 官网上找到详细的安装指南、使用教程以及常见问题解答。访问 ComfyUI 官网可以确保你获取到最准确和最新的官方信息。

ComfyUI 官方资源

1. comfyui 官方文档

ComfyUI 提供了详尽的官方文档,不过目前文档还在建设中,我也希望那你可以更多使用 comfyui-wiki.com,我们也正在建设中,

2. 社区论坛

ComfyUI 拥有一个活跃的社区论坛,用户可以在这里交流经验、分享作品、提出问题并获得帮助。ComfyUI 官方社区是一个学习和成长的好地。

3. GitHub 仓库

ComfyUI 的源代码托管在 GitHub 上,开发者可以在这里查看代码、提交问题和贡献代码。ComfyUI 官方 GitHub 仓库也是了解项目进展和参与开发的好地方。

4. 官方社群

ComfyUI 官方社群是一个开放的交流群组,用户可以在这里与其他用户和开发者互动。

5. 官方博客

ComfyUI 官方博客提供了最新的新闻、更新和教程,是获取官方信息的好地方。

常见问题解答(FAQ)

ComfyUI 是什么?

ComfyUI 是一个专为 AI 绘图和图像生成设计的用户界面工具,提供了丰富的功能和资源,帮助用户更好地进行创作。

如何访问 ComfyUI 官网?

你可以通过访问 ComfyUI 官网 来获取最新的版本和官方信息。

ComfyUI 的官方资源有哪些?

ComfyUI 提供了官方文档、社区论坛、GitHub 仓库、官方社群和官方博客等资源,帮助用户全面了解和使用 ComfyUI。

结论

通过访问以上 ComfyUI 官网和 ComfyUI 官方资源,你可以全面了解 ComfyUI 的功能和使用方法。无论你是新手还是有经验的用户,这些 ComfyUI 官网和官方资源都能帮助你更好地利用 ComfyUI 进行 AI 绘图和图像生成。

希望这些信息对你有所帮助!如果你有任何问题或需要进一步的帮助,请随时访问 ComfyUI 官网和社区论坛。


ComfyUI 相关工具与资源

SD-PPP (Photoshop Picture Portal)

SD-PPP 是一个连接 Photoshop 和 ComfyUI/SD WebUI/Forge 的强大插件。它让用户可以直接在 Photoshop 中使用 AI 绘画功能,支持:

  • ✅ 多图层支持(包括文本层/图像层)
  • ✅ 多文档支持
  • ✅ 多 Photoshop 实例支持
  • ✅ 在文档的特定区域中工作

注意:仅支持 PS 24.4.0+ 版本

快速开始

  1. 使用 ComfyManager 安装 sd-ppp 或克隆到 custom_nodes 目录
  2. 安装 Photoshop 插件(通过 CCX 或 UXP 开发工具)
  3. 在 Photoshop 中连接到 ComfyUI
  4. 在 ComfyUI 中添加 get/send 节点

查看详细安装说明 →


Tencent-Hunyuan 腾讯混元相关资源

这里收集了腾讯混元相关的模型、资源、社区资源等,由 ComfyUI-Wiki 收集整理,如果你有补充或者没有找到想要的资源可以在评论里留言~

Tencent-Hunyuan 腾讯混元官方模型

模型名称更新时间链接
IP-Adapter2024-09-12Tencent-Hunyuan/IP-Adapter
TensorRT-libs2024-08-01Tencent-Hunyuan/TensorRT-libs
HunyuanDiT-v1.22024-07-16Tencent-Hunyuan/HunyuanDiT-v1.2
HunyuanDiT-v1.2 ControlNet Depth2024-07-14Tencent-Hunyuan/HunyuanDiT-v1.2-ControlNet-Diffusers-Depth
HunyuanDiT-v1.2 ControlNet Canny2024-07-14Tencent-Hunyuan/HunyuanDiT-v1.2-ControlNet-Diffusers-Canny
HunyuanDiT-v1.2 ControlNet Pose2024-07-14Tencent-Hunyuan/HunyuanDiT-v1.2-ControlNet-Diffusers-Pose
Distillation-v1.22024-07-09Tencent-Hunyuan/Distillation-v1.2
HYDiT-LoRA2024-07-09Tencent-Hunyuan/HYDiT-LoRA
HYDiT-ControlNet-v1.22024-07-09Tencent-Hunyuan/HYDiT-ControlNet-v1.2
HunyuanDiT-v1.2 Diffusers Distilled2024-07-01Tencent-Hunyuan/HunyuanDiT-v1.2-Diffusers-Distilled
HunyuanDiT-v1.2 Diffusers2024-07-01Tencent-Hunyuan/HunyuanDiT-v1.2-Diffusers
HunyuanCaptioner2024-06-30Tencent-Hunyuan/HunyuanCaptioner
HunyuanDiT-v1.1 ControlNet Depth2024-06-27Tencent-Hunyuan/HunyuanDiT-v1.1-ControlNet-Diffusers-Depth
HunyuanDiT-v1.1 ControlNet Pose2024-06-27Tencent-Hunyuan/HunyuanDiT-v1.1-ControlNet-Diffusers-Pose
HunyuanDiT-v1.1 ControlNet Canny2024-06-27Tencent-Hunyuan/HunyuanDiT-v1.1-ControlNet-Diffusers-Canny
HYDiT-ControlNet2024-06-20Tencent-Hunyuan/HYDiT-ControlNet
Distillation-v1.12024-06-19Tencent-Hunyuan/Distillation-v1.1
HunyuanDiT-v1.12024-06-19Tencent-Hunyuan/HunyuanDiT-v1.1
Distillation2024-06-19Tencent-Hunyuan/Distillation
HunyuanDiT2024-06-19Tencent-Hunyuan/HunyuanDiT
HunyuanDiT-v1.1 Diffusers Distilled2024-06-14Tencent-Hunyuan/HunyuanDiT-v1.1-Diffusers-Distilled
HunyuanDiT-v1.1 Diffusers2024-06-14Tencent-Hunyuan/HunyuanDiT-v1.1-Diffusers
HunyuanDiT Diffusers Distilled2024-06-05Tencent-Hunyuan/HunyuanDiT-Diffusers-Distilled
HunyuanDiT Diffusers2024-06-04Tencent-Hunyuan/HunyuanDiT-Diffusers
TensorRT-engine2024-05-22Tencent-Hunyuan/TensorRT-engine

官方地址信息

Github 地址 Discord 地址 微信 HunyuanVideo: A Systematic Framework For Large Video Generation Model

社区资源

项目名称描述链接作者
HunyuanVideo-ggufGGUF,量化HunyuanVideo-ggufcity96
ComfyUI支持FP8推理、V2V和IP2V生成ComfyUI-HunyuanVideoWrapperKijai
ComfyUI-NativeComfyUI官方原生支持ComfyUI-HunyuanVideoComfyUI Official
FastVideo一致性蒸馏模型FastVideoHao AI Lab
HunyuanVideo-ggufGGUF、量化HunyuanVideo-ggufcity96
Enhance-A-Video生成更高质量的视频Enhance-A-VideoNUS-HPC-AI-Lab
TeaCache基于缓存的加速采样TeaCacheFeng Liu
HunyuanVideo 重新打包ComfyUI 重新打包的腾讯混元视频模型HunyuanVideo_repackagedComfy-Org
Freeway Animation DemoComfyUI 转换的 Hunyuan 动画演示Freeway_Animation_Hunyuan_DemoComfyAnonymous
HunyuanDIT ComfyUI不同版本的 HunyuanDIT 打包用于 ComfyUIhunyuan_dit_comfyuiComfyAnonymous

Hunyuan Video LoRA 训练

Hunyuan Video LoRA 训练

相关教程

腾讯混元视频生成教程