返回模型
说明文档
<!-- 此模型卡已根据 Trainer 可访问的信息自动生成。您可能应该校对并完善它，然后删除此注释。 -->
fine_tuned_bloom_owasp
此模型是基于 bigscience/bloom-560m 在 None 数据集上微调的版本。 它在评估集上取得了以下结果：
- Loss: 1.1134
模型描述
需要更多信息
预期用途与限制
需要更多信息
训练与评估数据
需要更多信息
训练过程
训练超参数
训练期间使用了以下超参数：
- learning_rate: 5e-05
- train_batch_size: 1
- eval_batch_size: 1
- seed: 42
- gradient_accumulation_steps: 4
- total_train_batch_size: 4
- optimizer: 使用 OptimizerNames.ADAMW_TORCH，betas=(0.9,0.999)，epsilon=1e-08，optimizer_args=无额外优化器参数
- lr_scheduler_type: linear
- num_epochs: 8
- mixed_precision_training: Native AMP
训练结果
| Training Loss | Epoch | Step | Validation Loss |
|---|---|---|---|
| No log | 1.0 | 14 | 1.5426 |
| No log | 2.0 | 28 | 0.9975 |
| No log | 3.0 | 42 | 0.8882 |
| No log | 4.0 | 56 | 0.9376 |
| No log | 5.0 | 70 | 0.9962 |
| No log | 6.0 | 84 | 1.1134 |
框架版本
- Transformers 4.46.3
- Pytorch 2.5.1+cu121
- Datasets 3.2.0
- Tokenizers 0.20.3
pdazad/fine_tuned_bloom_owasp
作者 pdazad
text-generation
transformers
↓ 0
♥ 0
创建时间: 2025-01-27 20:53:01+00:00
更新时间: 2025-01-27 21:04:27+00:00
在 Hugging Face 上查看文件 (15)
.gitattributes
README.md
config.json
generation_config.json
model.safetensors
onnx/config.json
onnx/model.onnx
ONNX
onnx/model.onnx_data
onnx/special_tokens_map.json
onnx/tokenizer.json
onnx/tokenizer_config.json
special_tokens_map.json
tokenizer.json
tokenizer_config.json
training_args.bin