PPO 智能体玩 Pyramids

这是一个使用 Unity ML-Agents 库 训练的 PPO 智能体玩 Pyramids 的模型。

使用方法 (使用 ML-Agents)

文档地址：https://github.com/huggingface/ml-agents#get-started 我们编写了完整的教程，教你如何使用 ML-Agents 训练第一个智能体并将其发布到 Hub：

继续训练

mlagents-learn ./config/ppo/PyramidsRND.yaml --run-id=\"Pyramids-Training\" --resume

训练超参数

behaviors:
Pyramids:
  trainer_type: ppo
  hyperparameters:
    batch_size: 128
    buffer_size: 4096
    learning_rate: 0.0003
    beta: 0.01
    epsilon: 0.2
    lambd: 0.95
    num_epoch: 3
    learning_rate_schedule: linear
  network_settings:
    normalize: false
    hidden_units: 512
    num_layers: 3
    vis_encode_type: simple
  reward_signals:
    extrinsic:
      gamma: 0.99
      strength: 1.0
    rnd:
      gamma: 0.99
      strength: 0.01
      network_settings:
        hidden_units: 128
        num_layers: 3
      learning_rate: 0.0001
  keep_checkpoints: 5
  max_steps: 900000
  time_horizon: 256
  summary_freq: 30000

观看智能体游戏

你可以直接在浏览器中观看智能体游戏：

1. 访问 https://huggingface.co/spaces/unity/ML-Agents-Pyramids
2. 第一步：输入你的 model_id：kinkpunk/PPO-PyramidsRND
3. 第二步：选择你的 .nn /.onnx 文件
4. 点击"Watch the agent play" 👀