返回模型
说明文档
EmbeddedLLM/Phi-3-medium-128k-instruct-onnx-directml
性能指标
<!-- 这些是正在使用的评估指标，最好附上原因说明。-->
DirectML
我们在 AMD Ryzen 9 7940HS /w Radeon 78 上测量了 DirectML 的性能
| 提示词长度 | 生成长度 | 平均吞吐量 (tps) |
|---|---|---|
| 128 | 128 | - |
| 128 | 256 | - |
| 128 | 512 | - |
| 128 | 1024 | - |
| 256 | 128 | - |
| 256 | 256 | - |
| 256 | 512 | - |
| 256 | 1024 | - |
| 512 | 128 | - |
| 512 | 256 | - |
| 512 | 512 | - |
| 512 | 1024 | - |
| 1024 | 128 | - |
| 1024 | 256 | - |
| 1024 | 512 | - |
| 1024 | 1024 | - |
EmbeddedLLM/Phi-3-medium-128k-instruct-onnx-directml
作者 EmbeddedLLM
text-generation
transformers
↓ 1
♥ 0
创建时间: 2024-07-18 03:44:05+00:00
更新时间: 2024-07-19 03:58:53+00:00
在 Hugging Face 上查看文件 (12)
.gitattributes
README.md
added_tokens.json
config.json
configuration_phi3.py
genai_config.json
model.onnx
ONNX
model.onnx.data
special_tokens_map.json
tokenizer.json
tokenizer.model
tokenizer_config.json