返回模型
说明文档
查看我们的论文：https://arxiv.org/abs/2401.02415
查看项目页面： https://github.com/TencentARC/LLaMA-Pro
模型详情
MetaMath-Mistral-Pro 在 MetaMathQA 数据集上进行了完全微调，基于强大的 Mistral-Pro 模型。
模型使用
该模型训练使用以下格式（注意换行）：
\n\n
Your message here!\n\n
为获得最佳效果，请按此方式格式化所有输入。请确保在 \n\n 后包含换行符，这会显著影响生成质量。
实验结果
| 模型 | GSM8k Pass@1 | MATH Pass@1 |
|---|---|---|
| MPT-7B | 6.8 | 3.0 |
| Falcon-7B | 6.8 | 2.3 |
| LLaMA-1-7B | 11.0 | 2.9 |
| LLaMA-2-7B | 14.6 | 2.5 |
| MPT-30B | 15.2 | 3.1 |
| LLaMA-1-13B | 17.8 | 3.9 |
| GPT-Neo-2.7B | 19.5 | -- |
| Falcon-40B | 19.6 | 2.5 |
| Baichuan-chat-13B | 23.9 | -- |
| Vicuna-v1.3-13B | 27.6 | -- |
| LLaMA-2-13B | 28.7 | 3.9 |
| InternLM-7B | 31.2 | -- |
| ChatGLM-2-6B | 32.4 | -- |
| GPT-J-6B | 34.9 | -- |
| LLaMA-1-33B | 35.6 | 3.9 |
| LLaMA-2-34B | 42.2 | 6.24 |
| RFT-7B | 50.3 | -- |
| LLaMA-1-65B | 50.9 | 10.6 |
| Qwen-7B | 51.6 | -- |
| WizardMath-7B | 54.9 | 10.7 |
| LLaMA-2-70B | 56.8 | 13.5 |
| WizardMath-13B | 63.9 | 14.0 |
| MAmmoTH-7B (COT) | 50.5 | 10.4 |
| MAmmoTH-7B (POT+COT) | 53.6 | 31.5 |
| Arithmo-Mistral-7B | 74.7 | 25.3 |
| MetaMath-7B | 66.5 | 19.8 |
| MetaMath-13B | 72.3 | 22.4 |
| MetaMath-Mistral-7B | 77.7 | 28.2 |
| MetaMath-Llemma-7B | 69.2 | 30.0 |
| 🔥 MetaMath-Mistral-Pro | 78.4 | 30.3 |
引用
@article{wu2024llama,
title={Llama pro: Progressive llama with block expansion},
author={Wu, Chengyue and Gan, Yukang and Ge, Yixiao and Lu, Zeyu and Wang, Jiahao and Feng, Ye and Luo, Ping and Shan, Ying},
journal={arXiv preprint arXiv:2401.02415},
year={2024}
}
chenlei1983/testtohf
作者 chenlei1983
diffusers
↓ 0
♥ 1
创建时间: 2024-03-19 11:34:54+00:00
更新时间: 2025-04-14 08:13:36+00:00
在 Hugging Face 上查看文件 (11)
.gitattributes
README.md
RWKV-Runner_windows_x64.exe
config.json
diffusion_pytorch_model.bin
rerank.onnx
ONNX
sentencepiece.bpe.model
special_tokens_map.json
test.zip
tokenizer_config.json
version.txt