Kyle - 机器人行走布娃娃训练的巅峰之作

Kyle 代表了主动布娃娃训练环境的最高水平，在 Unity 框架内精心打造。这个创新平台是对著名的 Ragdoll Trainer 基础代码库进行了广泛增强和优化的结果。通过整合尖端视觉技术并利用 LSTM（长短期记忆）网络的强大功能，Kyle 提供了无与伦比的模拟体验，推动了 AI 训练的边界。

深入的模型描述

Kyle 的核心是一个革命性的主动布娃娃训练环境，旨在以前所未有的真实感模拟复杂的物理交互。Kyle 的核心架构源自原始的 Ragdoll Trainer，经过了大量的修改和精炼以实现最佳性能。

增强功能包括：

• 先进的视觉能力：Kyle 的感知装置配备了最先进的视觉处理功能，能够识别和解释训练环境中复杂的视觉线索。
• 自适应短期变量记忆：利用 LSTM 网络，Kyle 拥有一个动态记忆系统，能够捕获和利用时间信息，这对于需要理解序列和模式的任务至关重要。
• 用于 AI 训练的精密模拟：这些技术的结合提供了一个丰富而复杂的模拟平台。它允许训练能够以类似有感知生物的方式导航和与其周围环境交互的 AI 模型，为人工智能领域的进步铺平道路。

通过培育更精密的模拟环境，Kyle 使研究人员和开发人员能够训练可以执行各种任务的 AI 模型，从简单的运动到导航复杂的障碍课程，同时响应不断变化的刺激和挑战。


Kyle 使用综合指南

Kyle 不仅仅是一个模型；它是通往游戏中 AI 驱动布娃娃物理学新领域的门户。要在 Neko Cat Game 中充分发挥 Kyle 的潜力，必须整合我们项目附带的骨骼骨架 GameObject。这个 GameObject 是我们 Ragdoll Trainer 的关键，经过精心设计，与 Kyle 的先进功能协调工作。

分步使用说明

1. 整合 ONNX 模型： 首先将 ONNX 模型文件导入到您的 Unity 项目中。该文件包含了 Kyle 学习的精髓，是迈向布娃娃模拟新维度的第一步。

2. GameObject 集成： 将模型无缝地附加到我们项目中的骨骼骨架 GameObject 上。这个 GameObject 是解锁 Kyle 能力的关键，确保布娃娃动作不仅逼真，而且具有认知深度。

3. 模拟和训练： 随着模型和 GameObject 的就位，您现在可以训练和模拟细腻的布娃娃动作。Kyle 的认知功能由 LSTM 网络驱动，允许模拟不仅是反应性的，而且具有预见性，以一种类似理解的方式适应环境。

用于推理的 Unity 资源

本着可访问性和易用性的精神，我们很高兴地宣布，一个 Unity 资源将很快可供下载。该资源将使用户能够直接在他们的项目中实现 Kyle 的推理功能，无需复杂的开发设置。

未来发展

虽然目前训练 Kyle 需要一个涉及 ML-Agents 和 Python 环境的基本开发设置，但我们正在努力简化这一过程。我们的愿景是在游戏内引入一个自动化功能，消除手动设置 ML-Agents 和 Python 环境的需要。这个即将推出的功能将使用户能够通过简单的几次点击来训练 Kyle，使先进的 AI 训练对所有人开放。

请继续关注这些激动人心的更新，我们将继续完善和增强用户体验，使其尽可能直观和用户友好。

训练数据：建立在多样性和复杂性基础上的根基

Kyle 的训练机制是其接触数据的多样性和复杂性的证明。该模型的基础建立在包含各种布娃娃动作的数据集上，每个动作都富含视觉输入和记忆组件。这个丰富的数据集确保 Kyle 能够非常有效地模拟现实世界的场景，使其能够理解和预测动态环境中的物理交互。

Kyle 的当前版本已经通过 2000 万步的序列进行了训练，这段旅程赋予了它处理多种任务的技巧。随着我们继续发展我们的训练场景，我们计划发布额外的序列。这些将作为构建块，可以组合以锻造新的模型，每个模型专门用于不同的健身应用，从杂技所需的精细平衡到分类任务所需的精度。

评估结果：展示对运动的掌控

Kyle 在模拟逼真布娃娃物理学方面的熟练程度不仅仅是一个声明；这是一个经过验证的事实。该模型经过了广泛的测试，展示了其不仅能够模仿而且能够理解运动细微差别的卓越能力。视觉和基于记忆的学习的额外深度使 Kyle 能够预测和适应，展示了在模拟环境中罕见的认知功能水平。

TensorBoard 结果：进步的视觉见证

TensorBoard 可视化提供了一个窗口，可以了解 Kyle 的训练旅程及其取得的进展：

 图 1：描绘随时间推移训练进度的图表，说明损失的持续减少和相应的准确性提高。

 图 2：验证结果，揭示了模型泛化的能力，表明在未见数据上的稳健性能。

 图 3：比较分析，展示了模型的预测与基本事实的对比，强调了 Kyle 学习过程的精确性。

我们最近已切换到 SAC 训练算法，这产生了更好的性能。下面的 tensorboard 图表反映了使用 SAC 在 2000 万步训练序列上训练 Kyle 的情况。我们还将训练缓冲区设置为 100 万步，我们的 SAC 代理从中学习。

 图 4：描绘随时间推移训练进度的图表，说明损失的持续减少和相应的准确性提高。

 图 5：验证结果，揭示了模型泛化的能力，表明在未见数据上的稳健性能。

 图 6：比较分析，展示了模型的预测与基本事实的对比，强调了 Kyle 学习过程的精确性。

以下是 PPO 与 SAC 训练的 2000 万轮序列的比较分析。这两者都使用相同的硬件和软件配置进行训练。

 图 7：描绘随时间推移训练进度的图表，说明损失的持续减少和相应的准确性提高。  图 8：描绘随时间推移训练进度的图表，说明损失的持续减少和相应的准确性提高。  图 8：描绘随时间推移训练进度的图表，说明损失的持续减少和相应的准确性提高。  图 8：描绘随时间推移训练进度的图表，说明损失的持续减少和相应的准确性提高。

Kyle 模型：定制化的基础

从根本上说，Kyle 是一个基础双足模型，专为直接定制而设计，以适应您项目的独特需求。无论您是旨在微调 Kyle 用于战斗模拟、编排杂技舞蹈，还是开发用于分类对象的系统，该模型的适应性使其成为理想的起点。潜在的应用既多样又令人兴奋，我们热切期待 Kyle 将被使用的创新方式。

伦理考虑：对负责任 AI 的承诺

在 Kyle 的开发中，我们坚定地坚持伦理 AI 的原则。我们对创建体现公平、问责和透明度的模型的承诺是坚定不移的。我们认识到 AI 对社会的深远影响，我们努力确保我们的模型做出积极贡献，改善它们所触及的人们的生活。

• 公平性：我们采取了严格的措施来防止模型中的偏见，确保 Kyle 的学习和输出是公平和公正的。
• 问责制：我们的开发过程经过精心记录，提供清晰的追溯性并培养责任文化。
• 透明度：我们相信思想和方法论的公开交流，这就是为什么我们对我们的开发实践和模型的能力保持透明。

致谢：对协作创新的致敬

我们感谢原始 Ragdoll Trainer 项目背后的远见者。他们的开创性工作为 Kyle 今天的发展奠定了基础。通过建立在他们创新的主动布娃娃训练方法之上，我们能够突破界限并达到新的高度。

• 基础工作：原始 Ragdoll Trainer 的代码库作为我们构建和优化 Kyle 的基础。
• 基于：在 https://github.com/kressdev/RagdollTrainer 发现的原始项目工作和实验
• 协作精神：我们庆祝 AI 和游戏社区的协作精神，这对我们项目的成功起到了重要作用。

附加信息：Kyle 开发的支柱

Kyle 的开发特点是尖端技术和精湛工艺的融合。

• 作者：p3nGu1nZz

• Github：https://github.com/cat-game-research/Neko/tree/main/RagdollTrainer

• 技术栈：

  • Unity 版本：2023.2.7f1 - Kyle 世界得以呈现的画布。
  • ONNX 版本：1.12.0 - 确保互操作性和最先进的性能。
  • ML-Agents 版本：3.0.0-exp.1 - Kyle 学习能力的基础。
  • ML-Agents Extensions 版本：0.6.1-preview - 扩展功能并突破可能的边界。
  • Sentis 版本：1.3.0-pre.2 - 赋予 Kyle 感知和与其环境交互的能力。

• 功能：

  • 增强的骨骼：在 Blender 中制作，这个骨骼为 Kyle 提供流畅自然的运动。
  • 启发式函数：一个用于关节控制的工具，在开发测试期间至关重要。
  • 稳定器：为臀部和脊柱实施，这些稳定器是 Kyle 平衡的关键。
  • 训练设置：早期训练设置对于建立初始平衡和面向目标的运动至关重要。
  • 障碍导航：使用 Ray Perception Sensor 3D，Kyle 可以熟练地绕过障碍物导航。
  • 台阶和楼梯训练：Kyle 已被训练导航台阶和楼梯，适应不同难度的级别。

• 设置过程：

  • 本地 Miniconda：设置开发环境的起点。
  • 克隆 ML-Agents：将 ML-Agents 的最新进展整合到 Kyle 中。
  • 脚本配置：根据 Kyle 的独特需求定制脚本以微调模型。

Kyle 开发的每个元素都经过仔细考虑和实施，以确保该模型不仅满足而且超越使用者的期望。

@misc{RagdollTrainer,
  author = {cat-game-research},
  title = {RagdollTrainer - The Evolution of Active Ragdoll Simulation in Unity},
  year = {2024},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\\url{https://github.com/yourusername/LocalLlama}}
}