说明文档
T5 Small 模型卡片
目录
模型详情
模型描述
Text-To-Text Transfer Transformer (T5) 的开发者在他们的文章中写道：
借助 T5，我们提议将所有 NLP 任务重构为统一的文本到文本格式，其中输入和输出始终是文本字符串，这与 BERT 风格的模型形成对比，后者只能输出类别标签或输入的某个片段。我们的文本到文本框架使我们能够在任何 NLP 任务上使用相同的模型、损失函数和超参数。
T5-Small 是拥有 6000 万参数的检查点。
- 开发者： Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu。参见相关论文和 GitHub 仓库
- 模型类型： 语言模型
- 语言： 英语、法语、罗马尼亚语、德语
- 许可证： Apache 2.0
- 相关模型： 所有 T5 检查点
- 更多信息资源：
用途
直接使用和下游使用
开发者在博客文章中写道，该模型：
我们的文本到文本框架使我们能够在任何 NLP 任务上使用相同的模型、损失函数和超参数，包括机器翻译、文档摘要、问答和分类任务（例如情感分析）。我们甚至可以将 T5 应用于回归任务，方法是训练它预测数字的字符串表示形式，而不是数字本身。
超出范围的使用
需要更多信息。
偏见、风险和局限性
需要更多信息。
建议
需要更多信息。
训练详情
训练数据
该模型在 Colossal Clean Crawled Corpus (C4) 上进行预训练，该数据集是在与 T5 相同的研究论文背景下开发和发布的。
该模型在无监督（1.）和有监督任务（2.）的多任务混合上进行了预训练。 其中，（1.）和（2.）使用了以下数据集：
- 用于无监督去噪目标的数据集：
- 用于有监督文本到文本语言建模目标的数据集
- 句子可接受性判断
- 情感分析
- SST-2 Socher et al., 2013
- 释义/句子相似度
- MRPC Dolan and Brockett, 2005
- STS-B Ceret al., 2017
- QQP Iyer et al., 2017
- 自然语言推理
- 句子补全
- 词义消歧
- 问答
- MultiRC Khashabi et al., 2018
- ReCoRD Zhang et al., 2018
- BoolQ Clark et al., 2019
训练过程
在他们的摘要中，模型开发者写道：
在本文中，我们通过引入一个将每个语言问题转换为文本到文本格式的统一框架，探索了 NLP 迁移学习技术的全景。我们的系统研究在数十个语言理解任务上比较了预训练目标、架构、无标签数据集、迁移方法和其他因素。
所引入的框架，即 T5 框架，涉及一个训练过程，该过程结合了论文中研究的方法。更多详情请参阅研究论文。
评估
测试数据、因素和指标
开发者在 24 个任务上评估了该模型，完整详情请参阅研究论文。
结果
关于 T5-small 的完整结果，请参阅研究论文中的表 14。
环境影响
碳排放量可以使用 Lacoste et al. (2019) 中提出的 机器学习影响计算器 进行估算。
- 硬件类型： Google Cloud TPU Pods
- 使用时长： 需要更多信息
- 云服务商： GCP
- 计算区域： 需要更多信息
- 碳排放量： 需要更多信息
引用
BibTeX:
@article{2020t5,
author = {Colin Raffel and Noam Shazeer and Adam Roberts and Katherine Lee and Sharan Narang and Michael Matena and Yanqi Zhou and Wei Li and Peter J. Liu},
title = {Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer},
journal = {Journal of Machine Learning Research},
year = {2020},
volume = {21},
number = {140},
pages = {1-67},
url = {http://jmlr.org/papers/v21/20-074.html}
}
APA:
- Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., ... & Liu, P. J. (2020). Exploring the limits of transfer learning with a unified text-to-text transformer. J. Mach. Learn. Res., 21(140), 1-67.
模型卡片作者
本模型卡片由 Hugging Face 团队编写。
如何开始使用该模型
使用以下代码开始使用该模型。
<details> <summary> 点击展开 </summary>
from transformers import T5Tokenizer, T5Model
tokenizer = T5Tokenizer.from_pretrained("t5-small")
model = T5Model.from_pretrained("t5-small")
input_ids = tokenizer(
"Studies have been shown that owning a dog is good for you", return_tensors="pt"
).input_ids # Batch size 1
decoder_input_ids = tokenizer("Studies show that", return_tensors="pt").input_ids # Batch size 1
# forward pass
outputs = model(input_ids=input_ids, decoder_input_ids=decoder_input_ids)
last_hidden_states = outputs.last_hidden_state
更多示例请参阅 Hugging Face T5 文档和模型开发者创建的 Colab Notebook。 </details>
Thinam/lang-translate
作者 Thinam
创建时间: 2024-03-18 02:50:36+00:00
更新时间: 2024-03-18 02:53:09+00:00
在 Hugging Face 上查看