模型卡片：Sophon

<!-- 提供模型的快速摘要 -->

Sophon 模型是一个喷注标记模型，使用 JetClass-II 数据集在 188 类分类任务上进行预训练。它基于 Particle Transformer 架构。 该模型是 Sophon（Signature-Oriented Pre-training for Heavy-resonance ObservatioN，面向重共振观测的签名导向预训练）方法论下的首个实际实现。

更多详情，请参阅以下链接：[论文]，[Github]。

试用此 [Colab 演示] 快速上手该模型。

模型详情

Sophon 模型既可作为通用喷注标记模型，也可作为专为 LHC 分析需求定制的预训练模型。 作为喷注标记器，该模型被训练用于区分 188 个类别：

该模型的主要特点包括：

• 在质量去相关场景下进行训练，通过 (1) 确保训练数据集覆盖广泛的喷注横向动量（p_T）和软滴质量（m_SD）范围，以及 (2) 对每个主要训练类别的样本进行重新加权，以实现相似的 p_T 和 m_SD 喷注分布。
• 通过使用归一化的四矢量作为输入，增强"尺度不变性"。

用途与影响

通过 ONNX 推理 Sophon 模型

Sophon 模型对于未来的 LHC 现象学研究具有重要价值，特别是用于使用快速模拟（Delphes）数据集估计物理测量灵敏度。有关在 Python 中使用此模型的快速示例，或在 C++ 工作流中集成此模型以处理 Delphes 文件，请查看[此处]。

该模型还为未来粒子物理实验中通用和基础 AI 模型的开发提供了见解。

训练详情

安装依赖

Sophon 模型基于 ParT 架构。它使用 PyTorch 实现，训练基于 weaver 框架进行数据集加载和转换。要安装 weaver，请运行：

pip install git+https://github.com/hqucms/weaver-core.git@dev/custom_train_eval

注意： 我们暂时使用 weaver 的开发分支。

有关设置 Miniconda 和安装 PyTorch 的说明，请参阅 weaver 页面。

下载 Sophon 仓库

git clone https://github.com/jet-universe/sophon.git
cd sophon

下载数据集

从 [HuggingFace 数据集] 下载 JetClass-II 数据集。 本工作使用训练和验证文件，未使用测试文件。

确保所有 ROOT 文件可从以下路径访问：

./datasets/JetClassII/Pythia/{Res2P,Res34P,QCD}_*.parquet

训练

步骤 1： 根据数据配置中的 weights 部分生成数据集采样权重。处理后的配置（包含预计算的权重）将保存到 data/JetClassII。

./train_sophon.sh make_weight

步骤 2： 开始训练。

./train_sophon.sh train

注意： 根据您的机器和 GPU 配置，可能需要一些额外的设置。以下是一些示例：

• 启用 PyTorch 的 DDP 进行并行训练，例如 CUDA_VISIBLE_DEVICES=0,1,2,3 DDP_NGPUS=4 ./train_sophon.sh train --start-lr 2e-3（学习率应根据 DDP_NGPUS 进行缩放）。
• 配置数据加载器工作线程数和整个数据集的分割数。脚本使用默认配置 --num-workers 5 --data-split-num 200，这意味着有 5 个工作线程，每个负责处理 1/5 的数据文件并同步读取数据；分配给每个工作线程的数据被分割成 200 部分，每个工作线程按顺序读取总数据的 1/200。

步骤 3（可选）：将模型转换为 ONNX。

./train_sophon.sh convert

评估

Sophon 模型已在多个 LHC 实验任务上进行评估。评估数据集是一个专用的标准模型数据集，使用通用大 R 喷注触发器收集，该触发器选择 p_T > 400 GeV 且修剪质量 m_trim > 50 GeV 的大 R（R = 0.8）喷注。

主要评估结果包括：

• 在直接标记 X→bb 喷注与 QCD 本底喷注方面表现优异，在微调后标记 X→bs 喷注与 QCD 喷注方面也表现出色。该模型在 X→bb 和 X→bs 标记方面优于最佳实验标记器。
• 通过构建各种标记判别式、选择数据和执行通用凸起搜索，在搜索未知重共振方面具有巨大潜力。
• 使用弱监督训练方法在异常检测中取得优异结果，在极低信号注入水平下对信号表现出更高的灵敏度，并在有足够信号时提高显著性。

更多详情，请参阅 [论文]。

引用

如果您使用 JetClass-II 数据集或 Sophon 模型，请引用：

@article{Li:2024htp,
    author = \"Li, Congqiao and Agapitos, Antonios and Drews, Jovin and Duarte, Javier and Fu, Dawei and Gao, Leyun and Kansal, Raghav and Kasieczka, Gregor and Moureaux, Louis and Qu, Huilin and Suarez, Cristina Mantilla and Li, Qiang\",
    title = \"{Accelerating Resonance Searches via Signature-Oriented Pre-training}\",
    eprint = \"2405.12972\",
    archivePrefix = \"arXiv\",
    primaryClass = \"hep-ph\",
    month = \"5\",
    year = \"2024\"
}