Jailbreak-Detector-2-XL → Qwen2.5-0.5B-Instruct（合并 + ONNX）

本仓库包含一个小型脚本，用于：

• 将 LoRA madhurjindal/Jailbreak-Detector-2-XL 合并到基础模型 Qwen/Qwen2.5-0.5B-Instruct 中，并保存完整的合并权重。
• 将合并后的模型导出为 ONNX 格式（默认任务：text-generation-with-past）。

输出文件位于：

• models/qwen2.5-0.5b-jb2xl-merged/（合并后的完整 HF 模型）
• onnx/qwen2.5-0.5b-jb2xl/（ONNX 导出）

注意：首次运行需要网络连接以从 Hugging Face 下载文件。

快速开始

docker build --no-cache -t jb2xl-merge .
docker run --rm -it \
  -e HF_HUB_ENABLE_HF_TRANSFER=1 \
  -v \"$(pwd)\":/workspace \
  jb2xl-merge \
  python scripts/merge_and_export.py \
    --base Qwen/Qwen2.5-0.5B-Instruct \
    --adapter madhurjindal/Jailbreak-Detector-2-XL \
    --out models/qwen2.5-0.5b-jb2xl-merged \
    --onnx-out onnx/qwen2.5-0.5b-jb2xl \
  --task text-generation-with-past

如果你有私有的 HF token，可以在运行时传入（Transformers 会自动识别）：

docker run --rm -it \
  -e HUGGINGFACE_HUB_TOKEN=hf_xxx \
  -v \"$(pwd)\":/workspace \
  jb2xl-merge \
  python scripts/merge_and_export.py

如果出现 ModuleNotFoundError: No module named 'optimum.exporters.onnx' 错误，请使用上述的 --no-cache 重新构建镜像，或者在容器内安装额外依赖：

docker run --rm -it -v \"$(pwd)\":/workspace jb2xl-merge \
  pip install \"optimum[exporters,onnxruntime]>=1.23.3\"

本地 Python 环境（可选）

如果你不想使用 Docker，可以安装 Python 3.10+ 并运行：

python -m venv .venv
source .venv/bin/activate
pip install -r requirements.txt
python scripts/merge_and_export.py

参数说明

--base        基础模型（默认：Qwen/Qwen2.5-0.5B-Instruct）
--adapter     LoRA 适配器（默认：madhurjindal/Jailbreak-Detector-2-XL）
--out         合并模型的输出目录（默认：models/qwen2.5-0.5b-jb2xl-merged）
--onnx-out    ONNX 输出目录（默认：onnx/qwen2.5-0.5b-jb2xl）
--task        ONNX 任务：text-generation | text-generation-with-past（默认）
--opset       ONNX opset 版本（可选）
--dtype       合并加载时的 Torch 数据类型（默认：float32）
--no-onnx     跳过 ONNX 导出

注意事项

• 合并后的模型以 safetensors 格式保存，并包含分词器。
• ONNX 导出使用 Optimum，会根据你选择的任务生成相应的计算图。
• 对于大型 ONNX 文件（>2GB），外部数据格式会由 Optimum 自动处理。