recallapp/CLIP-ViT-B-16-laion2B-s34B-b88K

license: apache-2.0

I need to fetch the README content from the HuggingFace model page first since the content appears to be empty in your message. The README for this specific model copy appears to be empty. Let me fetch the original model's README which this is based on:

CLIP ViT-B/16 - LAION-2B 模型卡片

目录

1. 模型详情
2. 用途
3. 训练详情
4. 评估
5. 致谢
6. 引用

模型详情

模型描述

这是一个使用 OpenCLIP（https://github.com/mlfoundations/open_clip）在 LAION-5B 的 LAION-2B 英文子集（https://laion.ai/blog/laion-5b/）上训练的 CLIP ViT-B/16 模型。

模型训练由 Mehdi Cherti 在 JUWELS Booster 超级计算机上完成。请参阅下文的致谢部分。

用途

根据原始的 OpenAI CLIP 模型卡片，该模型旨在作为面向研究社区的研究成果。我们希望该模型能够帮助研究人员更好地理解和探索零样本、任意图像分类。我们也希望它可以用于对此类模型潜在影响的跨学科研究。

OpenAI CLIP 论文包含了对潜在下游影响的讨论，以此作为此类分析的示例。此外，LAION-5B 博客（https://laion.ai/blog/laion-5b/）和即将发表的论文还包括了与训练数据集相关的额外讨论。

直接使用

零样本图像分类、图像和文本检索等。

下游使用

图像分类和其他图像任务微调、线性探测图像分类、图像生成引导和条件控制等。

超出范围的使用

根据 OpenAI 模型，

任何已部署的模型用例——无论是商业用途还是非商业用途——目前都超出了范围。除非在具有特定、固定类别分类法的受控环境中对模型进行了详尽的领域内测试，否则不建议在受约束环境中进行非部署用例，例如图像搜索。这是因为我们的安全评估表明，特别是考虑到 CLIP 在不同类别分类法下性能的可变性，非常需要进行特定任务的测试。这使得在任何用例中未经测试和不受约束地部署该模型目前可能具有潜在危害。

某些属于监控和面部识别领域的用例始终超出范围，无论模型的性能如何。这是因为目前缺乏测试规范和检查以确保其公平使用，在此类任务中使用人工智能可能为时尚早。

由于该模型没有针对英语以外的任何语言进行专门训练或评估，因此其使用应限于英语语言用例。

除上述说明外，用于训练这些模型的 LAION-5B 数据集还有其他注意事项，请参阅下文。

训练详情

训练数据

该模型使用 LAION-5B 的 20 亿样本英文子集（https://laion.ai/blog/laion-5b/）进行训练。

重要说明： 创建数据集的动机是使围绕大规模多模态模型训练和处理从公开互联网抓取的未经整理的大规模数据集的研究和实验民主化。因此，我们的建议是将数据集用于研究目的。请注意，这个大规模数据集是未经整理的。请记住，数据集未经整理的性质意味着收集的链接可能会导致人类观看者感到强烈不适和困扰的内容。因此，请谨慎使用演示链接，并自担风险。可以通过基于安全标签过滤样本（使用我们构建的自定义训练 NSFW 分类器）来提取"安全"子集。虽然这大大降低了查看时遇到潜在有害内容的可能性，但我们不能完全排除在安全模式下仍然存在有害内容的可能性，因此该警告同样适用。我们认为，向广泛的研究和其他感兴趣的社区公开提供数据集，将允许对训练大规模模型带来的好处以及在使用仅限于小社区的封闭大规模数据集时可能未被报告或未被注意到的陷阱和危险进行透明调查。然而，我们公开提供数据集，但不建议将其用于创建现成的工业产品，因为我们希望通过此次发布鼓励的关于此类大规模模型的一般属性和安全性的基础研究仍在进行中。

训练流程

待完成

评估

评估使用 LAION CLIP Benchmark 套件中的代码完成。

测试数据、因素和指标

测试数据

测试使用 VTAB+（VTAB（https://arxiv.org/abs/1910.04867）与额外鲁棒性数据集的组合）进行分类，使用 COCO 和 Flickr 进行检索。

结果

该模型在 ImageNet-1k 上实现了 70.2 的零样本 top-1 准确率。

已在更广泛的数据集上进行了初步基准测试，目前可在 https://github.com/LAION-AI/CLIP_benchmark/blob/main/benchmark/results.ipynb 查看

致谢

感谢高斯超级计算中心（http://gauss-centre.eu）通过约翰·冯·诺依曼计算研究所（NIC）在尤利希超级计算中心（JSC）的 GCS 超级计算机 JUWELS Booster 上提供计算时间，资助这部分工作。

引用

BibTeX:

LAION-5B

@inproceedings{schuhmann2022laionb,
  title={{LAION}-5B: An open large-scale dataset for training next generation image-text models},
  author={Christoph Schuhmann and
          Romain Beaumont and
          Richard Vencu and
          Cade W Gordon and
          Ross Wightman and
          Mehdi Cherti and
          Theo Coombes and
          Aarush Katta and
          Clayton Mullis and
          Mitchell Wortsman and
          Patrick Schramowski and
          Srivatsa R Kundurthy and
          Katherine Crowson and
          Ludwig Schmidt and
          Robert Kaczmarczyk and
          Jenia Jitsev},
  booktitle={Thirty-sixth Conference on Neural Information Processing Systems Datasets and Benchmarks Track},
  year={2022},
  url={https://openreview.net/forum?id=M3Y74vmsMcY}
}

OpenAI CLIP 论文

@inproceedings{Radford2021LearningTV,
  title={Learning Transferable Visual Models From Natural Language Supervision},
  author={Alec Radford and Jong Wook Kim and Chris Hallacy and A. Ramesh and Gabriel Goh and Sandhini Agarwal and Girish Sastry and Amanda Askell and Pamela Mishkin and Jack Clark and Gretchen Krueger and Ilya Sutskever},
  booktitle={ICML},
  year={2021}
}

OpenCLIP 软件

@software{ilharco_gabriel_2021_5143773,
  author       = {Ilharco, Gabriel and
                  Wortsman, Mitchell and
                  Wightman, Ross and
                  Gordon, Cade and
                  Carlini, Nicholas and
                  Taori, Rohan and
                  Dave, Achal and
                  Shankar, Vaishaal and
                  Namkoong, Hongseok and
                  Miller, John and
                  Hajishirzi, Hannaneh and
                  Farhadi, Ali and
                  Schmidt, Ludwig},
  title        = {OpenCLIP},
  month        = jul,
  year         = 2021,
  note         = {If you use this software, please cite it as below.},
  publisher    = {Zenodo},
  version      = {0.1},
  doi          = {10.5281/zenodo.5143773},
  url          = {https://doi.org/10.5281/zenodo.5143773}
}