返回模型
说明文档
本项目包含从 chatglm-6b 模型转换而来的 onnx 和 tensorrt 模型文件。 onnx 和 tensorrt 的推理脚本将在后续完善。
onnx2engine.py 用于将 onnx 转换为 tensorrt 引擎，当前批次大小为 1，可根据自身显存大小修改为动态批次。
zhaohb/chatglm_6b_onnx
作者 zhaohb
↓ 0
♥ 4
创建时间: 2023-05-17 07:05:43+00:00
更新时间: 2023-05-19 01:43:43+00:00
在 Hugging Face 上查看文件 (347)
.gitattributes
README.md
model6b_onnx_pkv/_transformer_layers.0_attention_rotary_emb_Constant_5_attr__value
model6b_onnx_pkv/_transformer_layers.0_attention_rotary_emb_Constant_attr__value
model6b_onnx_pkv/model.onnx
ONNX
model6b_onnx_pkv/onnx__MatMul_10597
model6b_onnx_pkv/onnx__MatMul_10628
model6b_onnx_pkv/onnx__MatMul_10629
model6b_onnx_pkv/onnx__MatMul_10630
model6b_onnx_pkv/onnx__MatMul_10631
model6b_onnx_pkv/onnx__MatMul_10658
model6b_onnx_pkv/onnx__MatMul_10659
model6b_onnx_pkv/onnx__MatMul_10660
model6b_onnx_pkv/onnx__MatMul_10661
model6b_onnx_pkv/onnx__MatMul_10688
model6b_onnx_pkv/onnx__MatMul_10689
model6b_onnx_pkv/onnx__MatMul_10690
model6b_onnx_pkv/onnx__MatMul_10691
model6b_onnx_pkv/onnx__MatMul_10718
model6b_onnx_pkv/onnx__MatMul_10719
model6b_onnx_pkv/onnx__MatMul_10720
model6b_onnx_pkv/onnx__MatMul_10721
model6b_onnx_pkv/onnx__MatMul_10748
model6b_onnx_pkv/onnx__MatMul_10749
model6b_onnx_pkv/onnx__MatMul_10750
model6b_onnx_pkv/onnx__MatMul_10751
model6b_onnx_pkv/onnx__MatMul_10778
model6b_onnx_pkv/onnx__MatMul_10779
model6b_onnx_pkv/onnx__MatMul_10780
model6b_onnx_pkv/onnx__MatMul_10781
model6b_onnx_pkv/onnx__MatMul_10808
model6b_onnx_pkv/onnx__MatMul_10809
model6b_onnx_pkv/onnx__MatMul_10810
model6b_onnx_pkv/onnx__MatMul_10811
model6b_onnx_pkv/onnx__MatMul_10838
model6b_onnx_pkv/onnx__MatMul_10839
model6b_onnx_pkv/onnx__MatMul_10840
model6b_onnx_pkv/onnx__MatMul_10841
model6b_onnx_pkv/onnx__MatMul_10868
model6b_onnx_pkv/onnx__MatMul_10869
model6b_onnx_pkv/onnx__MatMul_10870
model6b_onnx_pkv/onnx__MatMul_10871
model6b_onnx_pkv/onnx__MatMul_10898
model6b_onnx_pkv/onnx__MatMul_10899
model6b_onnx_pkv/onnx__MatMul_10900
model6b_onnx_pkv/onnx__MatMul_10901
model6b_onnx_pkv/onnx__MatMul_10928
model6b_onnx_pkv/onnx__MatMul_10929
model6b_onnx_pkv/onnx__MatMul_10930
model6b_onnx_pkv/onnx__MatMul_10931
model6b_onnx_pkv/onnx__MatMul_10958
model6b_onnx_pkv/onnx__MatMul_10959
model6b_onnx_pkv/onnx__MatMul_10960
model6b_onnx_pkv/onnx__MatMul_10961
model6b_onnx_pkv/onnx__MatMul_10988
model6b_onnx_pkv/onnx__MatMul_10989
model6b_onnx_pkv/onnx__MatMul_10990
model6b_onnx_pkv/onnx__MatMul_10991
model6b_onnx_pkv/onnx__MatMul_11018
model6b_onnx_pkv/onnx__MatMul_11019
model6b_onnx_pkv/onnx__MatMul_11020
model6b_onnx_pkv/onnx__MatMul_11021
model6b_onnx_pkv/onnx__MatMul_11048
model6b_onnx_pkv/onnx__MatMul_11049
model6b_onnx_pkv/onnx__MatMul_11050
model6b_onnx_pkv/onnx__MatMul_11051
model6b_onnx_pkv/onnx__MatMul_11078
model6b_onnx_pkv/onnx__MatMul_11079
model6b_onnx_pkv/onnx__MatMul_11080
model6b_onnx_pkv/onnx__MatMul_11081
model6b_onnx_pkv/onnx__MatMul_11108
model6b_onnx_pkv/onnx__MatMul_11109
model6b_onnx_pkv/onnx__MatMul_11110
model6b_onnx_pkv/onnx__MatMul_11111
model6b_onnx_pkv/onnx__MatMul_11138
model6b_onnx_pkv/onnx__MatMul_11139
model6b_onnx_pkv/onnx__MatMul_11140
model6b_onnx_pkv/onnx__MatMul_11141
model6b_onnx_pkv/onnx__MatMul_11168
model6b_onnx_pkv/onnx__MatMul_11169
model6b_onnx_pkv/onnx__MatMul_11170
model6b_onnx_pkv/onnx__MatMul_11171
model6b_onnx_pkv/onnx__MatMul_11198
model6b_onnx_pkv/onnx__MatMul_11199
model6b_onnx_pkv/onnx__MatMul_11200
model6b_onnx_pkv/onnx__MatMul_11201
model6b_onnx_pkv/onnx__MatMul_11228
model6b_onnx_pkv/onnx__MatMul_11229
model6b_onnx_pkv/onnx__MatMul_11230
model6b_onnx_pkv/onnx__MatMul_11231
model6b_onnx_pkv/onnx__MatMul_11258
model6b_onnx_pkv/onnx__MatMul_11259
model6b_onnx_pkv/onnx__MatMul_11260
model6b_onnx_pkv/onnx__MatMul_11261
model6b_onnx_pkv/onnx__MatMul_11288
model6b_onnx_pkv/onnx__MatMul_11289
model6b_onnx_pkv/onnx__MatMul_11290
model6b_onnx_pkv/onnx__MatMul_11291
model6b_onnx_pkv/onnx__MatMul_11318
model6b_onnx_pkv/onnx__MatMul_11319
model6b_onnx_pkv/onnx__MatMul_11320
model6b_onnx_pkv/onnx__MatMul_11321
model6b_onnx_pkv/onnx__MatMul_11348
model6b_onnx_pkv/onnx__MatMul_11349
model6b_onnx_pkv/onnx__MatMul_11350
model6b_onnx_pkv/onnx__MatMul_11351
model6b_onnx_pkv/onnx__MatMul_11378
model6b_onnx_pkv/onnx__MatMul_11379
model6b_onnx_pkv/onnx__MatMul_11380
model6b_onnx_pkv/onnx__MatMul_11381
model6b_onnx_pkv/onnx__MatMul_11408
model6b_onnx_pkv/onnx__MatMul_11409
model6b_onnx_pkv/onnx__MatMul_11410
model6b_onnx_pkv/onnx__MatMul_11411
model6b_onnx_pkv/onnx__MatMul_11438
model6b_onnx_pkv/onnx__MatMul_11439
model6b_onnx_pkv/onnx__MatMul_11440
model6b_onnx_pkv/onnx__MatMul_11441
model6b_onnx_pkv/transformer.final_layernorm.bias
model6b_onnx_pkv/transformer.final_layernorm.weight
model6b_onnx_pkv/transformer.layers.0.attention.dense.bias
model6b_onnx_pkv/transformer.layers.0.attention.query_key_value.bias
model6b_onnx_pkv/transformer.layers.0.input_layernorm.bias
model6b_onnx_pkv/transformer.layers.0.input_layernorm.weight
model6b_onnx_pkv/transformer.layers.0.mlp.dense_4h_to_h.bias
model6b_onnx_pkv/transformer.layers.0.mlp.dense_h_to_4h.bias
model6b_onnx_pkv/transformer.layers.0.post_attention_layernorm.bias
model6b_onnx_pkv/transformer.layers.0.post_attention_layernorm.weight
model6b_onnx_pkv/transformer.layers.1.attention.dense.bias
model6b_onnx_pkv/transformer.layers.1.attention.query_key_value.bias
model6b_onnx_pkv/transformer.layers.1.input_layernorm.bias
model6b_onnx_pkv/transformer.layers.1.input_layernorm.weight
model6b_onnx_pkv/transformer.layers.1.mlp.dense_4h_to_h.bias
model6b_onnx_pkv/transformer.layers.1.mlp.dense_h_to_4h.bias
model6b_onnx_pkv/transformer.layers.1.post_attention_layernorm.bias
model6b_onnx_pkv/transformer.layers.1.post_attention_layernorm.weight
model6b_onnx_pkv/transformer.layers.10.attention.dense.bias
model6b_onnx_pkv/transformer.layers.10.attention.query_key_value.bias
model6b_onnx_pkv/transformer.layers.10.input_layernorm.bias
model6b_onnx_pkv/transformer.layers.10.input_layernorm.weight
model6b_onnx_pkv/transformer.layers.10.mlp.dense_4h_to_h.bias
model6b_onnx_pkv/transformer.layers.10.mlp.dense_h_to_4h.bias
model6b_onnx_pkv/transformer.layers.10.post_attention_layernorm.bias
model6b_onnx_pkv/transformer.layers.10.post_attention_layernorm.weight
model6b_onnx_pkv/transformer.layers.11.attention.dense.bias
model6b_onnx_pkv/transformer.layers.11.attention.query_key_value.bias
model6b_onnx_pkv/transformer.layers.11.input_layernorm.bias
model6b_onnx_pkv/transformer.layers.11.input_layernorm.weight
model6b_onnx_pkv/transformer.layers.11.mlp.dense_4h_to_h.bias
model6b_onnx_pkv/transformer.layers.11.mlp.dense_h_to_4h.bias
model6b_onnx_pkv/transformer.layers.11.post_attention_layernorm.bias
model6b_onnx_pkv/transformer.layers.11.post_attention_layernorm.weight
model6b_onnx_pkv/transformer.layers.12.attention.dense.bias
model6b_onnx_pkv/transformer.layers.12.attention.query_key_value.bias
model6b_onnx_pkv/transformer.layers.12.input_layernorm.bias
model6b_onnx_pkv/transformer.layers.12.input_layernorm.weight
model6b_onnx_pkv/transformer.layers.12.mlp.dense_4h_to_h.bias
model6b_onnx_pkv/transformer.layers.12.mlp.dense_h_to_4h.bias
model6b_onnx_pkv/transformer.layers.12.post_attention_layernorm.bias
model6b_onnx_pkv/transformer.layers.12.post_attention_layernorm.weight
model6b_onnx_pkv/transformer.layers.13.attention.dense.bias
model6b_onnx_pkv/transformer.layers.13.attention.query_key_value.bias
model6b_onnx_pkv/transformer.layers.13.input_layernorm.bias
model6b_onnx_pkv/transformer.layers.13.input_layernorm.weight
model6b_onnx_pkv/transformer.layers.13.mlp.dense_4h_to_h.bias
model6b_onnx_pkv/transformer.layers.13.mlp.dense_h_to_4h.bias
model6b_onnx_pkv/transformer.layers.13.post_attention_layernorm.bias
model6b_onnx_pkv/transformer.layers.13.post_attention_layernorm.weight
model6b_onnx_pkv/transformer.layers.14.attention.dense.bias
model6b_onnx_pkv/transformer.layers.14.attention.query_key_value.bias
model6b_onnx_pkv/transformer.layers.14.input_layernorm.bias
model6b_onnx_pkv/transformer.layers.14.input_layernorm.weight
model6b_onnx_pkv/transformer.layers.14.mlp.dense_4h_to_h.bias
model6b_onnx_pkv/transformer.layers.14.mlp.dense_h_to_4h.bias
model6b_onnx_pkv/transformer.layers.14.post_attention_layernorm.bias
model6b_onnx_pkv/transformer.layers.14.post_attention_layernorm.weight
model6b_onnx_pkv/transformer.layers.15.attention.dense.bias
model6b_onnx_pkv/transformer.layers.15.attention.query_key_value.bias
model6b_onnx_pkv/transformer.layers.15.input_layernorm.bias
model6b_onnx_pkv/transformer.layers.15.input_layernorm.weight
model6b_onnx_pkv/transformer.layers.15.mlp.dense_4h_to_h.bias
model6b_onnx_pkv/transformer.layers.15.mlp.dense_h_to_4h.bias
model6b_onnx_pkv/transformer.layers.15.post_attention_layernorm.bias
model6b_onnx_pkv/transformer.layers.15.post_attention_layernorm.weight
model6b_onnx_pkv/transformer.layers.16.attention.dense.bias
model6b_onnx_pkv/transformer.layers.16.attention.query_key_value.bias
model6b_onnx_pkv/transformer.layers.16.input_layernorm.bias
model6b_onnx_pkv/transformer.layers.16.input_layernorm.weight
model6b_onnx_pkv/transformer.layers.16.mlp.dense_4h_to_h.bias
model6b_onnx_pkv/transformer.layers.16.mlp.dense_h_to_4h.bias
model6b_onnx_pkv/transformer.layers.16.post_attention_layernorm.bias
model6b_onnx_pkv/transformer.layers.16.post_attention_layernorm.weight
model6b_onnx_pkv/transformer.layers.17.attention.dense.bias
model6b_onnx_pkv/transformer.layers.17.attention.query_key_value.bias
model6b_onnx_pkv/transformer.layers.17.input_layernorm.bias
model6b_onnx_pkv/transformer.layers.17.input_layernorm.weight
model6b_onnx_pkv/transformer.layers.17.mlp.dense_4h_to_h.bias
model6b_onnx_pkv/transformer.layers.17.mlp.dense_h_to_4h.bias
model6b_onnx_pkv/transformer.layers.17.post_attention_layernorm.bias
model6b_onnx_pkv/transformer.layers.17.post_attention_layernorm.weight
model6b_onnx_pkv/transformer.layers.18.attention.dense.bias
model6b_onnx_pkv/transformer.layers.18.attention.query_key_value.bias
model6b_onnx_pkv/transformer.layers.18.input_layernorm.bias
model6b_onnx_pkv/transformer.layers.18.input_layernorm.weight
model6b_onnx_pkv/transformer.layers.18.mlp.dense_4h_to_h.bias
model6b_onnx_pkv/transformer.layers.18.mlp.dense_h_to_4h.bias
model6b_onnx_pkv/transformer.layers.18.post_attention_layernorm.bias
model6b_onnx_pkv/transformer.layers.18.post_attention_layernorm.weight
model6b_onnx_pkv/transformer.layers.19.attention.dense.bias
model6b_onnx_pkv/transformer.layers.19.attention.query_key_value.bias
model6b_onnx_pkv/transformer.layers.19.input_layernorm.bias
model6b_onnx_pkv/transformer.layers.19.input_layernorm.weight
model6b_onnx_pkv/transformer.layers.19.mlp.dense_4h_to_h.bias
model6b_onnx_pkv/transformer.layers.19.mlp.dense_h_to_4h.bias
model6b_onnx_pkv/transformer.layers.19.post_attention_layernorm.bias
model6b_onnx_pkv/transformer.layers.19.post_attention_layernorm.weight
model6b_onnx_pkv/transformer.layers.2.attention.dense.bias
model6b_onnx_pkv/transformer.layers.2.attention.query_key_value.bias
model6b_onnx_pkv/transformer.layers.2.input_layernorm.bias
model6b_onnx_pkv/transformer.layers.2.input_layernorm.weight
model6b_onnx_pkv/transformer.layers.2.mlp.dense_4h_to_h.bias
model6b_onnx_pkv/transformer.layers.2.mlp.dense_h_to_4h.bias
model6b_onnx_pkv/transformer.layers.2.post_attention_layernorm.bias
model6b_onnx_pkv/transformer.layers.2.post_attention_layernorm.weight
model6b_onnx_pkv/transformer.layers.20.attention.dense.bias
model6b_onnx_pkv/transformer.layers.20.attention.query_key_value.bias
model6b_onnx_pkv/transformer.layers.20.input_layernorm.bias
model6b_onnx_pkv/transformer.layers.20.input_layernorm.weight
model6b_onnx_pkv/transformer.layers.20.mlp.dense_4h_to_h.bias
model6b_onnx_pkv/transformer.layers.20.mlp.dense_h_to_4h.bias
model6b_onnx_pkv/transformer.layers.20.post_attention_layernorm.bias
model6b_onnx_pkv/transformer.layers.20.post_attention_layernorm.weight
model6b_onnx_pkv/transformer.layers.21.attention.dense.bias
model6b_onnx_pkv/transformer.layers.21.attention.query_key_value.bias
model6b_onnx_pkv/transformer.layers.21.input_layernorm.bias
model6b_onnx_pkv/transformer.layers.21.input_layernorm.weight
model6b_onnx_pkv/transformer.layers.21.mlp.dense_4h_to_h.bias
model6b_onnx_pkv/transformer.layers.21.mlp.dense_h_to_4h.bias
model6b_onnx_pkv/transformer.layers.21.post_attention_layernorm.bias
model6b_onnx_pkv/transformer.layers.21.post_attention_layernorm.weight
model6b_onnx_pkv/transformer.layers.22.attention.dense.bias
model6b_onnx_pkv/transformer.layers.22.attention.query_key_value.bias
model6b_onnx_pkv/transformer.layers.22.input_layernorm.bias
model6b_onnx_pkv/transformer.layers.22.input_layernorm.weight
model6b_onnx_pkv/transformer.layers.22.mlp.dense_4h_to_h.bias
model6b_onnx_pkv/transformer.layers.22.mlp.dense_h_to_4h.bias
model6b_onnx_pkv/transformer.layers.22.post_attention_layernorm.bias
model6b_onnx_pkv/transformer.layers.22.post_attention_layernorm.weight
model6b_onnx_pkv/transformer.layers.23.attention.dense.bias
model6b_onnx_pkv/transformer.layers.23.attention.query_key_value.bias
model6b_onnx_pkv/transformer.layers.23.input_layernorm.bias
model6b_onnx_pkv/transformer.layers.23.input_layernorm.weight
model6b_onnx_pkv/transformer.layers.23.mlp.dense_4h_to_h.bias
model6b_onnx_pkv/transformer.layers.23.mlp.dense_h_to_4h.bias
model6b_onnx_pkv/transformer.layers.23.post_attention_layernorm.bias
model6b_onnx_pkv/transformer.layers.23.post_attention_layernorm.weight
model6b_onnx_pkv/transformer.layers.24.attention.dense.bias
model6b_onnx_pkv/transformer.layers.24.attention.query_key_value.bias
model6b_onnx_pkv/transformer.layers.24.input_layernorm.bias
model6b_onnx_pkv/transformer.layers.24.input_layernorm.weight
model6b_onnx_pkv/transformer.layers.24.mlp.dense_4h_to_h.bias
model6b_onnx_pkv/transformer.layers.24.mlp.dense_h_to_4h.bias
model6b_onnx_pkv/transformer.layers.24.post_attention_layernorm.bias
model6b_onnx_pkv/transformer.layers.24.post_attention_layernorm.weight
model6b_onnx_pkv/transformer.layers.25.attention.dense.bias
model6b_onnx_pkv/transformer.layers.25.attention.query_key_value.bias
model6b_onnx_pkv/transformer.layers.25.input_layernorm.bias
model6b_onnx_pkv/transformer.layers.25.input_layernorm.weight
model6b_onnx_pkv/transformer.layers.25.mlp.dense_4h_to_h.bias
model6b_onnx_pkv/transformer.layers.25.mlp.dense_h_to_4h.bias
model6b_onnx_pkv/transformer.layers.25.post_attention_layernorm.bias
model6b_onnx_pkv/transformer.layers.25.post_attention_layernorm.weight
model6b_onnx_pkv/transformer.layers.26.attention.dense.bias
model6b_onnx_pkv/transformer.layers.26.attention.query_key_value.bias
model6b_onnx_pkv/transformer.layers.26.input_layernorm.bias
model6b_onnx_pkv/transformer.layers.26.input_layernorm.weight
model6b_onnx_pkv/transformer.layers.26.mlp.dense_4h_to_h.bias
model6b_onnx_pkv/transformer.layers.26.mlp.dense_h_to_4h.bias
model6b_onnx_pkv/transformer.layers.26.post_attention_layernorm.bias
model6b_onnx_pkv/transformer.layers.26.post_attention_layernorm.weight
model6b_onnx_pkv/transformer.layers.27.attention.dense.bias
model6b_onnx_pkv/transformer.layers.27.attention.query_key_value.bias
model6b_onnx_pkv/transformer.layers.27.input_layernorm.bias
model6b_onnx_pkv/transformer.layers.27.input_layernorm.weight
model6b_onnx_pkv/transformer.layers.27.mlp.dense_4h_to_h.bias
model6b_onnx_pkv/transformer.layers.27.mlp.dense_h_to_4h.bias
model6b_onnx_pkv/transformer.layers.27.post_attention_layernorm.bias
model6b_onnx_pkv/transformer.layers.27.post_attention_layernorm.weight
model6b_onnx_pkv/transformer.layers.3.attention.dense.bias
model6b_onnx_pkv/transformer.layers.3.attention.query_key_value.bias
model6b_onnx_pkv/transformer.layers.3.input_layernorm.bias
model6b_onnx_pkv/transformer.layers.3.input_layernorm.weight
model6b_onnx_pkv/transformer.layers.3.mlp.dense_4h_to_h.bias
model6b_onnx_pkv/transformer.layers.3.mlp.dense_h_to_4h.bias
model6b_onnx_pkv/transformer.layers.3.post_attention_layernorm.bias
model6b_onnx_pkv/transformer.layers.3.post_attention_layernorm.weight
model6b_onnx_pkv/transformer.layers.4.attention.dense.bias
model6b_onnx_pkv/transformer.layers.4.attention.query_key_value.bias
model6b_onnx_pkv/transformer.layers.4.input_layernorm.bias
model6b_onnx_pkv/transformer.layers.4.input_layernorm.weight
model6b_onnx_pkv/transformer.layers.4.mlp.dense_4h_to_h.bias
model6b_onnx_pkv/transformer.layers.4.mlp.dense_h_to_4h.bias
model6b_onnx_pkv/transformer.layers.4.post_attention_layernorm.bias
model6b_onnx_pkv/transformer.layers.4.post_attention_layernorm.weight
model6b_onnx_pkv/transformer.layers.5.attention.dense.bias
model6b_onnx_pkv/transformer.layers.5.attention.query_key_value.bias
model6b_onnx_pkv/transformer.layers.5.input_layernorm.bias
model6b_onnx_pkv/transformer.layers.5.input_layernorm.weight
model6b_onnx_pkv/transformer.layers.5.mlp.dense_4h_to_h.bias
model6b_onnx_pkv/transformer.layers.5.mlp.dense_h_to_4h.bias
model6b_onnx_pkv/transformer.layers.5.post_attention_layernorm.bias
model6b_onnx_pkv/transformer.layers.5.post_attention_layernorm.weight
model6b_onnx_pkv/transformer.layers.6.attention.dense.bias
model6b_onnx_pkv/transformer.layers.6.attention.query_key_value.bias
model6b_onnx_pkv/transformer.layers.6.input_layernorm.bias
model6b_onnx_pkv/transformer.layers.6.input_layernorm.weight
model6b_onnx_pkv/transformer.layers.6.mlp.dense_4h_to_h.bias
model6b_onnx_pkv/transformer.layers.6.mlp.dense_h_to_4h.bias
model6b_onnx_pkv/transformer.layers.6.post_attention_layernorm.bias
model6b_onnx_pkv/transformer.layers.6.post_attention_layernorm.weight
model6b_onnx_pkv/transformer.layers.7.attention.dense.bias
model6b_onnx_pkv/transformer.layers.7.attention.query_key_value.bias
model6b_onnx_pkv/transformer.layers.7.input_layernorm.bias
model6b_onnx_pkv/transformer.layers.7.input_layernorm.weight
model6b_onnx_pkv/transformer.layers.7.mlp.dense_4h_to_h.bias
model6b_onnx_pkv/transformer.layers.7.mlp.dense_h_to_4h.bias
model6b_onnx_pkv/transformer.layers.7.post_attention_layernorm.bias
model6b_onnx_pkv/transformer.layers.7.post_attention_layernorm.weight
model6b_onnx_pkv/transformer.layers.8.attention.dense.bias
model6b_onnx_pkv/transformer.layers.8.attention.query_key_value.bias
model6b_onnx_pkv/transformer.layers.8.input_layernorm.bias
model6b_onnx_pkv/transformer.layers.8.input_layernorm.weight
model6b_onnx_pkv/transformer.layers.8.mlp.dense_4h_to_h.bias
model6b_onnx_pkv/transformer.layers.8.mlp.dense_h_to_4h.bias
model6b_onnx_pkv/transformer.layers.8.post_attention_layernorm.bias
model6b_onnx_pkv/transformer.layers.8.post_attention_layernorm.weight
model6b_onnx_pkv/transformer.layers.9.attention.dense.bias
model6b_onnx_pkv/transformer.layers.9.attention.query_key_value.bias
model6b_onnx_pkv/transformer.layers.9.input_layernorm.bias
model6b_onnx_pkv/transformer.layers.9.input_layernorm.weight
model6b_onnx_pkv/transformer.layers.9.mlp.dense_4h_to_h.bias
model6b_onnx_pkv/transformer.layers.9.mlp.dense_h_to_4h.bias
model6b_onnx_pkv/transformer.layers.9.post_attention_layernorm.bias
model6b_onnx_pkv/transformer.layers.9.post_attention_layernorm.weight
model6b_onnx_pkv/transformer.word_embeddings.weight
model6b_trt_pkv/out.engine
onnx2engine.py