返回模型
说明文档
EmbeddedLLM/Phi-3-medium-4k-instruct-onnx-directml
性能指标
<!-- 这些是使用的评估指标，最好附上说明原因。 -->
DirectML
我们在 AMD Ryzen 9 7940HS /w Radeon 78 上测量了 DirectML 的性能
| 提示词长度 | 生成长度 | 平均吞吐量 (tps) |
|---|---|---|
| 128 | 128 | - |
| 128 | 256 | - |
| 128 | 512 | - |
| 128 | 1024 | - |
| 256 | 128 | - |
| 256 | 256 | - |
| 256 | 512 | - |
| 256 | 1024 | - |
| 512 | 128 | - |
| 512 | 256 | - |
| 512 | 512 | - |
| 512 | 1024 | - |
| 1024 | 128 | - |
| 1024 | 256 | - |
| 1024 | 512 | - |
| 1024 | 1024 | - |
EmbeddedLLM/Phi-3-medium-4k-instruct-onnx-directml
作者 EmbeddedLLM
text-generation
transformers
↓ 1
♥ 0
创建时间: 2024-07-17 08:54:01+00:00
更新时间: 2024-07-19 04:01:42+00:00
在 Hugging Face 上查看文件 (13)
.gitattributes
LICENSE
README.md
added_tokens.json
config.json
configuration_phi3.py
genai_config.json
model.onnx
ONNX
model.onnx.data
special_tokens_map.json
tokenizer.json
tokenizer.model
tokenizer_config.json