Optimum RoBERTa-base-SQuAD2 量化版

简介

本仓库包含 optimum/roberta-base-squad2 模型的量化版本，由 Branden Chan 等人开发。量化过程使用 Optimum ONNX 库进行，旨在减小模型体积并提高效率，同时保持可接受的精度。

评估

模型使用 rajpurkar/squad_v2 数据集验证集中的 600 条输入进行测试。

1. 延迟降低：

   • 原始模型：每样本 0.503 秒
   • 量化模型：每样本 0.380 秒
   • 分析：延迟显著降低，使模型更适合实时应用场景。

2. 效率提升：

   • 总运行时间：
     • 原始模型：301.8 秒
     • 量化模型：228.3 秒
     • 分析：总执行时间大幅减少。
   • 每秒处理样本数：
     • 原始模型：1.988 样本/秒
     • 量化模型：2.628 样本/秒
     • 分析：处理速率提升，允许在相同时间内处理更多样本。

3. 精度保持：

   • 精确匹配分数 (Exact Score)：
     • 原始模型：81.67
     • 量化模型：80.33
     • 分析：精度略有下降，但仍处于可接受水平。
   • F1 分数：
     • 原始模型：83.75
     • 量化模型：82.45
     • 分析：F1 分数有轻微下降。

4. 内存占用对比：

   • 原始模型：476.52 MB
   • 量化模型：122.41 MB
   • 分析：量化显著减少了内存占用，量化模型仅约为原始模型体积的 25.7%。

这些结果表明量化取得了成功，在保持问答任务可接受精度的同时，实现了延迟显著降低、效率提升以及内存空间的大幅节省。