模型选择 #

模型安全提示 #

见 It's not a virus it's a checkpoint file

.ckpt 和 .pt 文件使用 Pickle模块 加载模型，而Pickle 模块在设计上并不安全。

所以模型种可能含有恶意数据，可使得加载期间执行任意代码。原则上，您应该只加载您信任的数据。永远不要加载可能未知来源的、或可能被篡改的模型。

如果杀毒软件拦截，有可能创建者向文件中注入了恶意的 Python 代码。

WebUI 内置了一定的安全检查，如果你使用 Automatic1111 的 WebUI, 其在这方面做了一些验证。对于不安全的文件，会提示

The file may be malicious, so the program is not going to read it.
You can skip this check with --disable-safe-unpickle commandline argument.

值得注意的是，出现该提示并不一定表明文件一定危险，有时由于网络问题、内存问题无法完整加载模型时也会出现此提示。 可以结合该提示上方与下方的报错综合分析具体出错原因。

可以通过此脚本检查风险：https://rentry.org/safeunpickle2

另外，你可以在 这里 看到一个简单的检查脚本。

相关项目 pickle_inspector。

    raise pickle.UnpicklingError("global '%s/%s' is forbidden" %
                                 (module, name))

如果你运行脚本得到了类似 "global something.something is forbidden" 这意味着检查点试图做坏事，可能有危险。

模型选择 #

模型使用的数据集和标签对于效果影响非常重要，在使用之前要先了解数据来源。

Stable Diffusion 模型 #

Stable Diffusion 模型适用于生成与照片、艺术品类似的图像。基于 LAION 数据集训练。

提示词常用连贯的自然语言句子描述一个物体，如：

A horse running on the moon

下载地址：

• Stable Diffusion v1.2
• Stable Diffusion v1.3
• Stable Diffusion v1.4
• Stable Diffusion v1.5
• Stable Diffusion v2.0
  • 安装方法：在 WebUI 中使用 SD 2.0 模型

Waifu Diffusion 模型 #

Waifu Diffusion 模型采用 Danbooru 数据集中图片与标签训练，适用于生成各类二次元图像。

提示词常用 Danbooru 提供的标签组合，如：

1girl, white hair, blue dress, black shoes

下载地址：

• Waifu Diffusion v1.3

NovelAI 泄露模型 #

NovelAI 模型采用 Danbooru 数据集中图片与标签训练，适用于生成各类二次元图像。

提示词常用 Danbooru 提供的标签组合、与部分私有标签，如：

masterpiece, best quality, 1girl, white hair, blue dress, black shoes

使用该模型的 models 文件夹结构大致如下：

./models
├── hypernetworks
│   ├── aini.pt
│   ├── anime_2.pt
│   ├── anime_3.pt
│   ├── anime.pt
│   ├── furry_2.pt
│   ├── furry_3.pt
│   ├── furry_kemono.pt
│   ├── furry_protogen.pt
│   ├── furry.pt
│   ├── furry_scalie.pt
│   ├── furry_transformation.pt
│   └── pony.pt
├── Stable-diffusion
│   ├── model.ckpt -> 任意一个 ckpt 文件
│   ├── model.vae.pt -> animevae.pt
│   ├── model.yaml -> 与 model.ckpt 同文件夹的 config.yaml (无须使用)
│   └── ......

此处给出的文件名仅为示例。可根据自己喜好增删或改名。注意不同扩展名的文件应当拥有相同的前缀。

Part 1 #

Part 1 中较常用的文件列举如下：

注意，.yaml 与 .vae.pt 的名称应该与 .ckpt 文件相对应。

hypernetworks 包含了 stableckpt/modules/modules 里的文件，是风格相关的数据集，可以作为特定人物的 embedding model 调用，和 model 使用可以生成特定风格。主要格式为 *.pt。需要在 WebUI 的设置标签页启用这个增强模型。

Part 2 #

prodmodels 是 GPT 模型(语言处理)，但是实际用了 CLIP，所以不用我们管。

random_stableckpt 是一些模型，有的与 Part1 重复

启动 CLI 有提示加载就即可，同时可以去设置选模型那里选喜欢的 hypernetwork

使用 latest (7G) 还是 pruned (4G) 模型 #

4GB 的模型由 7GB 的模型修剪而来，去除了最后一次的权重，留下了 EMA 权重。

个人用户只需要使用 pruned 4 GB 模型。使用 latest 会过度占用 RAM 和 VRAM。

且 NAI 在线上也使用 EMA 权重，所以选择 latest 7GB 模型是没有意义的。

结论由此贴讨论得到。

详细介绍 #

拆包视频可以看 av688965561

杂项 #

• 猜测模型中 masterpiece, best quality 等在 Danbooru 中不存在的标签有可能是为了适应商业需求而进行补充标记的。
• 猜测 full 模型投入了所有的数据，未经清洗。而 sfw (curated) 模型则数据更加精确，应该受过清洗。这导致了 full 模型的不稳定。
• 在 “事件 2” 中，我们看到了很多其他的模型，比如 wallpaper 模型，它们应该使用了不同的数据集进行训练。
• 有些模型可能是根据 rating 进行分类的。

但是事实上我们并不知道细节，所以以上只是猜测并且不可信的。

Anything 2.1 / 3.0 #

融合模型，适用于生成各类二次元图像。

下载地址：https://pan.baidu.com/s/1r--2XuWV--MVoKKmTftM-g?pwd=ANYN

SD Pokemon Diffusers #

经过微调的 Stable Diffusion 模型，专注于生成宝可梦图片。

见 HuggingFace/lambdalabs/sd-pokemon-diffusers。

SD PixelArt SpriteSheet Generator #

经过微调的 Stable Diffusion 模型，专注于生成多个方向的像素小人。

见 HuggingFace/Onodofthenorth/SD_PixelArt_SpriteSheet_Generator。

风格化 #

Furry 超网络模型比较 #

其他超网络模型比较 #

参考参数：

masterpiece, best quality, masterpiece, 1girl, solo, outdoors, flowers, dancing

Negative prompt: nsfw, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts,signature, watermark, username, blurry, artist name

Steps: 28, Sampler: Euler, CFG scale: 12, Seed: [SEE COLUMN], Size: 512x512, Model hash: 925997e9, Hypernet: [SEE ROW]

结论 #

aini 有一种你可能不喜欢的强烈风格，我认为它具有最高的一致性和质量。

anime_3 是该系列中质量最高的，但它们都有些不一致. 我一般不会推荐他们。

可以看到 furry 的超网络在添加动物特征方面更加激进，因此这里更保守的变化可能与采样器、步骤和 CFG 有关。

所有超网络的 X/Y