bert-base-japanese-v3-jsts

这是《大规模语言模型入门》第5章介绍的（语义相似度计算）模型。 基于 cl-tohoku/bert-base-japanese-v3 在 JGLUE 的 JSTS 数据集上微调构建而成。

https://huggingface.co/masato12/bert-base-japanese-v3-jsts-with-tokenizer 的 ONNX 权重，兼容 Transformers PHP。

相关链接

• GitHub 仓库
• Colab 笔记本（训练）
• Colab 笔记本（推理）
• 数据集
• 大规模语言模型入门（Amazon.co.jp）
• 大规模语言模型入门

使用方法

from transformers import pipeline

text_sim_pipeline = pipeline(
    model="llm-book/bert-base-japanese-v3-jsts",
    function_to_apply="none",
)
text = "川べりでサーフボードを持った人たちがいます"
sim_text = "サーファーたちが川べりに立っています"
# 计算 text 和 sim_text 的相似度
result = text_sim_pipeline({"text": text, "text_pair": sim_text})
print(result["score"])
# 3.5703558921813965

许可证

Apache License 2.0

注意：为 ONNX 权重创建单独的仓库是临时解决方案，直到 WebML 获得更多关注。如果您想让自己的模型支持 Web，我们建议使用 🤗 Optimum 转换为 ONNX 格式，并按照此仓库的结构组织（将 ONNX 权重放在名为 onnx 的子文件夹中）。