WD SwinV2 标签器 v3

支持评分、角色和通用标签。

使用 https://github.com/SmilingWolf/JAX-CV 进行训练。 用于训练的 TPU 由 TRC 计划 慷慨提供。

数据集

最后图像 ID：7220105 在 Danbooru 图像上训练，ID 取模 0000-0899。 在 ID 取模 0950-0999 的图像上进行验证。 少于 10 个通用标签的图像已被过滤。 少于 600 张图像的标签已被过滤。

验证结果

v2.0: P=R: threshold = 0.2653, F1 = 0.4541 v1.0: P=R: threshold = 0.2521, F1 = 0.4411

更新内容

模型 v2.0/数据集 v3： 多训练了几个 epoch。 使用基于标签频率的损失缩放来应对类别不平衡。

模型 v1.1/数据集 v3： 修正了 JAX 模型配置文件：添加了图像尺寸。 训练权重无变化。

模型 v1.0/数据集 v3： 更多训练图像，更多且更新的标签（截至 2024-02-28）。 现在兼容 timm！使用经典的一行代码加载并试用！ ONNX 模型与为 v2 系列模型开发的代码兼容。 ONNX 模型的批处理维度不再固定为 1。现在你可以尽情进行批量推理。 改用 Macro-F1 来衡量模型性能，因为它能更好地反映整体训练进度。

运行时依赖

ONNX 模型需要 onnxruntime >= 1.17.0

推理代码示例

timm 版本：https://github.com/neggles/wdv3-timm ONNX 版本：https://huggingface.co/spaces/SmilingWolf/wd-tagger JAX 版本：https://github.com/SmilingWolf/wdv3-jax

最后说明

可能会更改和更新。 建议下游用户使用带标签的发布版本，而不是依赖仓库的最新版本。