VaultGemma 模型卡片

模型页面: VaultGemma

资源与技术文档:

• VaultGemma 技术报告
• 负责任生成式 AI 工具包
• Kaggle 上的 VaultGemma

使用条款: 条款

作者: Google

模型信息

摘要描述及输入输出的简要定义。

描述

VaultGemma 是 Google 推出的 Gemma 系列轻量级、最先进开放模型的一个变体。它从零开始使用差分隐私（Differential Privacy, DP）进行预训练。这为其训练数据提供了强有力、有数学支持的隐私保障，限制了模型输出泄露任何单个训练样本信息的程度。

VaultGemma 采用与 Gemma 2 类似的架构。VaultGemma 是一个预训练模型，可以针对各种语言理解和生成任务进行指令微调。其相对较小的尺寸（< 10 亿参数）使其能够在资源有限的环境中部署，从而让更多人能够使用以隐私为核心构建的最先进 AI 模型。

输入和输出

• 输入:

  • 文本字符串，例如问题、提示词或需要摘要的文档。
  • 总输入上下文为 1K（1,024）个 token。

• 输出:

  • 针对输入生成的文本，例如问题的答案、摘要或分类。

模型数据

用于模型训练的数据及数据处理方式。

训练数据集

该模型使用差分隐私从零开始训练，训练数据来自多种来源的大规模英语文本数据集，包括：

• 网页文档：多样化的网页文本集合确保模型接触到广泛的语言风格、主题和词汇。
• 代码：让模型接触代码有助于其学习编程语言的语法和模式，从而提高其生成代码和理解代码相关问题的能力。
• 数学：对数学文本进行训练有助于模型学习逻辑推理和符号表示，以解决数学相关问题。

该模型的显著特点是整个预训练过程都使用差分隐私随机梯度下降（DP-SGD）进行，隐私预算为 ε≤2.0，δ≤1.1e-10。DP-SGD 提供了形式化保证，即模型的核心知识库本身对于训练集中的单个样本是隐私保护的。

数据预处理

除了差分隐私固有的隐私保护外，Gemma 2 使用的以下数据清洗和过滤方法也应用于训练数据：

• CSAM 过滤：在数据准备过程的多个阶段进行了严格的 CSAM（儿童性虐待材料）过滤，以确保排除有害和非法内容。
• 敏感数据过滤：作为使 Gemma 预训练模型安全可靠的一部分，使用自动化技术从训练集中过滤掉某些个人信息和其他敏感数据。
• 其他方法：根据我们的政策进行基于内容质量和安全性的过滤。

实现信息

关于模型内部细节的说明。

硬件

VaultGemma 使用 Tensor Processing Unit (TPU) 硬件 TPUv6e 进行训练。使用差分隐私的巨大计算开销训练大型语言模型需要专用硬件。TPU 专为处理涉及的海量计算而设计，提供高效且可持续训练 VaultGemma 等模型所需的性能、内存和可扩展性。

软件

训练使用 JAX 和 ML Pathways 进行。训练实现的核心依赖于大规模隐私保护机器学习的专用算法：

• 差分隐私随机梯度下降（DP-SGD）：用于训练模型同时提供形式化隐私保证的优化算法。
• 截断泊松采样：一种计算高效的方法，用于实现具有固定大小批次的大规模 DP 训练，这对于现代加速器上的性能至关重要。
• DP 缩放定律：训练配置（模型大小、批次大小、迭代次数）由专门为差分隐私训练开发的一套新的缩放定律确定，确保计算和隐私预算的最佳使用。

评估

模型评估指标和结果。

基准测试结果

该模型在一系列标准学术基准上进行了评估。正如预期的那样，模型提供的强隐私保证存在效用权衡。下表显示了 10 亿参数预训练（PT）VaultGemma 模型的性能。

实证记忆分析

我们还进行了实证测试来测量模型的"记忆率"——即复现训练数据序列的倾向。我们遵循 Gemma 3 技术报告中的既定方法论。模型被提示以从训练语料库中提取的 50 token 前缀，以确定它是否会生成相应的 50 token 后缀。评估专门测试：

• 精确记忆：逐字复现后缀。
• 近似记忆：以高达 10% 的错误率复现后缀。

VaultGemma 在这些测试中表现出无可检测的记忆（既没有精确记忆也没有近似记忆）。这一实证发现强有力地验证了差分隐私随机梯度下降（DP-SGD）预训练过程在防止保留单个训练样本方面的有效性。

伦理与安全

我们使用与 Gemma 2 相同的数据混合，并在训练过程中利用差分隐私来确保模型参数不会记忆单个训练样本，从而为训练数据提供形式化的隐私保证。此外，我们仅提供预训练模型。

使用与限制

这些模型存在某些用户应该意识到的限制。

预期用途

VaultGemma 旨在用于广泛的自然语言处理（NLP）应用。此列表的目的是提供模型创建者考虑的可能用例的背景信息。

• 隐私保护 NLP 研究：作为研究人员的强基线，用于实验隐私保护技术、开发新算法，并在敏感数据上微调模型。
• 涉及敏感数据的应用：可以在私人或敏感数据集（例如医疗保健、金融领域）上进行微调，在这些场景中，基础模型本身不携带来自公共预训练数据的风险至关重要。
• 内容创建与交流：在数据隐私是主要关注点的场景中生成创意文本、支持聊天机器人和摘要文档。

限制

• 隐私带来的效用差距：隐私保证的强度与模型效用之间存在固有的权衡。如评估基准所示，与类似尺寸的非隐私模型相比，VaultGemma 可能表现较差。
• 训练数据：训练数据的质量和多样性影响模型的能力。训练数据中的偏差或空白可能导致模型响应的限制。
• 事实准确性：模型根据训练数据的模式生成响应，但不是知识库。它可能会生成不正确或过时的事实陈述。
• 语言细微差别：模型可能难以把握微妙的细微差别、讽刺或比喻性语言。

伦理考量与风险

语言模型的开发引发了一些伦理问题。在创建这个开放模型时，我们仔细考虑了以下方面：

• 偏见与公平性：在大规模数据上训练的模型可能反映训练材料中的社会文化偏见。
• 虚假信息与滥用：模型可能被滥用于生成虚假、误导性或有害的文本。负责任生成式 AI 工具包中提供了负责任使用的指南。
• 透明度与问责制：此模型卡片总结了有关模型架构、能力、限制和评估流程的详细信息

已识别的风险及缓解措施：

• 偏见的延续：鼓励在模型训练、微调和其他用例中进行持续监控（使用评估指标、人工审查）并探索去偏见技术。
• 有害内容的生成：内容安全机制和指南至关重要。鼓励开发者根据其特定产品策略和应用用例谨慎行事并实施适当的内容安全保障措施。
• 恶意用途的滥用：技术限制以及开发者和最终用户教育可以帮助缓解 VLM 的恶意应用。提供了教育资源和供用户标记滥用的报告机制。Gemma 模型的禁止用途在 Gemma 禁止使用政策中概述。
• 隐私侵犯：模型在经过过滤以删除某些个人信息和其他敏感数据的数据上进行训练。此外，我们在预训练期间使用差分隐私，ε≤2.0，δ≤1.1e-10。鼓励开发者遵守隐私法规并采用隐私保护技术。

优势

在发布时，据我们所知，该模型是从零开始使用形式化差分隐私预训练的最大、性能最高的开放语言模型。其主要优势是为训练数据提供强有力的、有数学支持的隐私保证，使其独特地适用于训练数据隐私是关键关注点的应用和研究。