说明文档

这是使用 OpenVINO NNCF 对 vuiseng9/bert-l-squadv1.1-sl256 进行量化的版本。

训练

# 使用 4xV100 GPU
# --fp16 用于降低周转时间和资源需求
python run_qa.py \
  --model_name_or_path vuiseng9/bert-l-squadv1.1-sl256 \
  --dataset_name squad \
  --do_eval \
  --do_train \
  --evaluation_strategy steps \
  --eval_steps 250 \
  --learning_rate 3e-5 \
  --fp16 \
  --num_train_epochs 2 \
  --per_device_eval_batch_size 64 \
  --per_device_train_batch_size 8 \
  --max_seq_length 256 \
  --doc_stride 128 \
  --save_steps 500 \
  --logging_steps 1 \
  --overwrite_output_dir \
  --nncf_config nncf_bert_config_squad_kd.json \ #默认配置，序列长度已修改为 256
  --run_name $RUNID \
  --output_dir $OUTDIR

评估

需要 vuiseng9/transformers (fork) ，提交版本：ff24569b，NNCF v2.1+ 提交版本（8e26365）

git clone https://huggingface.co/vuiseng9/nncf-qat-kd-bert-l-squadv1.1-sl256
python run_qa.py \
  --model_name_or_path ./nncf-qat-kd-bert-l-squadv1.1-sl256 \
  --dataset_name squad \
  --nncf_config ./nncf-qat-kd-bert-l-squadv1.1-sl256/nncf_bert_config_squad_kd.json \
  --nncf_ckpt ./nncf-qat-kd-bert-l-squadv1.1-sl256 \
  --do_eval \
  --per_device_eval_batch_size 128 \
  --max_seq_length 256 \
  --doc_stride 128 \
  --output_dir /tmp/eval-nncf-qat-kd-bert-l-squadv1.1-sl256 \
  --overwrite_output_dir

结果

  eval_exact_match = 87.1902
  eval_f1          = 93.0286
  eval_samples     =   12097

vuiseng9/nncf-qat-kd-bert-l-squadv1.1-sl256

作者 vuiseng9

transformers

↓ 0 ♥ 0

创建时间: 2022-05-07 16:10:23+00:00

更新时间: 2022-05-07 17:15:19+00:00

在 Hugging Face 上查看

文件 (25)

.gitattributes

README.md

all_results.json

compressed_graph.dot

config.json

eval_predictions.json

eval_results.json

ir/squad-BertForQuestionAnswering.8bit.bin

ir/squad-BertForQuestionAnswering.8bit.mapping

ir/squad-BertForQuestionAnswering.8bit.onnx ONNX

ir/squad-BertForQuestionAnswering.8bit.xml

nncf_bert_config_squad_kd.json

nncf_config.json

optimizer.pt

pytorch_model.bin

rng_state.pth

scaler.pt

scheduler.pt

special_tokens_map.json

tokenizer.json

tokenizer_config.json

train_results.json

trainer_state.json

training_args.bin

vocab.txt