返回模型
说明文档
<!-- 此模型卡已根据 Trainer 可访问的信息自动生成。您可能需要校对并完善它，然后删除此注释。 -->
Chatbot
此模型是基于 tiiuae/falcon-7b 在 None 数据集上微调的版本。
模型描述
更多信息待补充
预期用途与限制
更多信息待补充
训练和评估数据
更多信息待补充
训练过程
训练超参数
训练期间使用了以下超参数：
- learning_rate: 0.0002
- train_batch_size: 1
- eval_batch_size: 8
- seed: 42
- gradient_accumulation_steps: 4
- total_train_batch_size: 4
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
- lr_scheduler_type: cosine
- lr_scheduler_warmup_ratio: 0.05
- training_steps: 100
- mixed_precision_training: Native AMP
训练结果
框架版本
- PEFT 0.12.0
- Transformers 4.44.2
- Pytorch 2.4.0+cu121
- Datasets 3.0.0
- Tokenizers 0.19.1
Tienle123/Chatbot
作者 Tienle123
peft
↓ 0
♥ 0
创建时间: 2024-09-15 02:59:15+00:00
更新时间: 2025-02-08 09:29:27+00:00
在 Hugging Face 上查看文件 (10)
.gitattributes
README.md
adapter_config.json
adapter_model.safetensors
onnx/model.onnx
ONNX
runs/Sep15_02-06-19_9d720fece735/events.out.tfevents.1726366009.9d720fece735.230.0
runs/Sep15_02-17-37_9d720fece735/events.out.tfevents.1726366660.9d720fece735.230.1
runs/Sep15_02-27-03_9d720fece735/events.out.tfevents.1726367225.9d720fece735.230.2
runs/Sep15_02-27-03_9d720fece735/events.out.tfevents.1726367940.9d720fece735.230.3
training_args.bin