<!-- 此模型卡片已根据 Trainer 可访问的信息自动生成。您可能需要校对并完善它，然后删除此注释。 -->

charm_bert_base_unc_1

此模型是基于 JJones0809/mlm_bert_base_unc 在未知数据集上进行微调的版本。

模型描述

需要更多信息

预期用途与限制

需要更多信息

训练与评估数据

需要更多信息

训练过程

训练超参数

以下超参数在训练过程中使用：

• learning_rate: 5e-06
• train_batch_size: 32
• eval_batch_size: 8
• seed: 42
• gradient_accumulation_steps: 32
• total_train_batch_size: 1024
• optimizer: 使用 OptimizerNames.ADAMW_TORCH_FUSED，betas=(0.9,0.999)，epsilon=1e-08，optimizer_args=无额外优化器参数
• lr_scheduler_type: linear
• lr_scheduler_warmup_ratio: 0.1
• num_epochs: 20.0
• mixed_precision_training: Native AMP

训练结果

框架版本

• Transformers 4.57.6
• Pytorch 2.9.0+cu126
• Datasets 4.0.0
• Tokenizers 0.22.2