Optimum RoBERTa-base-SQuAD2 量化版

简介

本仓库包含 optimum/roberta-base-squad2 模型的量化版本，由 Branden Chan 等人开发。量化过程使用 Optimum ONNX 库进行，旨在减小模型体积并提高效率，同时保持可接受的精度。

评估

模型测试使用了 rajpurkar/squad_v2 数据集验证集中的 600 个样本。

1. 延迟降低：

   • 原始模型：每样本 0.572 秒
   • 量化模型：每样本 0.437 秒
   • 分析：延迟显著降低，使模型更适合实时应用场景。

2. 效率提升：

   • 总运行时间：
     • 原始模型：343.20 秒
     • 量化模型：262.41 秒
     • 分析：总执行时间大幅减少。
   • 每秒处理样本数：
     • 原始模型：1.75 样本/秒
     • 量化模型：2.29 样本/秒
     • 分析：处理速率提升，相同时间内可处理更多样本。

3. 保持合理精度：

   • 精确匹配分数 (Exact Score)：
     • 原始模型：81.67
     • 量化模型：80.5
     • 分析：精度略有下降，但仍处于可接受水平。
   • F1 分数：
     • 原始模型：83.75
     • 量化模型：82.49
     • 分析：F1 分数略有下降。

4. 内存占用对比：

   • 原始模型：476.52 MB
   • 量化模型：122.41 MB
   • 分析：量化显著减少了内存占用，量化模型仅约为原始模型体积的 25.7%。

这些结果表明量化取得了成功：延迟显著降低、效率明显提升、内存占用大幅节省，同时在问答任务中保持了可接受的精度。