1. 训练

使用python lerobot/scripts/train.py可以进行机器人控制模型训练,一般需要几个小时,可以在outputs/train/act_lekiwi_test/checkpoints查看锚点数据,下面为一组示例参数:

python lerobot/scripts/train.py \
  --dataset.repo_id=${HF_USER}/lekiwi_test \
  --policy.type=act \
  --output_dir=outputs/train/act_lekiwi_test \
  --job_name=act_lekiwi_test \
  --device=cuda \
  --wandb.enable=false
  • 数据集参数:–dataset.repo_id=${HF_USER}/lekiwi_test
  • 机器人配置:policy.type=act表示从 configuration_act.py 加载配置,数据集中记录了机器人的电机状态、电机动作和摄像头的数量。
  • device=cuda表示在 Nvidia GPU 上训练,使用device=mps来在 Apple 芯片上训练。
  • wandb.enable=true表示使用wandb.ai来可视化训练图,使用之前要使用wandb login先登录,这是官网地址

2. 评估训练模型

评估跟录制数据集是同一个方法(lerobot/scripts/control_robot.py),不过增加了锚点作为输入,下面命令可以用来录制10个评估数据集。

python lerobot/scripts/control_robot.py \
  --robot.type=lekiwi \
  --control.type=record \
  --control.fps=30 \
  --control.single_task="找到红色块,并捡起来" \
  --control.repo_id=${HF_USER}/eval_act_lekiwi_test \
  --control.tags='["tutorial"]' \
  --control.warmup_time_s=5 \
  --control.episode_time_s=30 \
  --control.reset_time_s=30 \
  --control.num_episodes=10 \
  --control.push_to_hub=true \
  --control.policy.path=outputs/train/act_lekiwi_test/checkpoints/last/pretrained_model

它与之前用于录制训练数据集的命令很像,有两点不同变化:

  • 增加参数 control.policy.path 表示策略锚点的路径(–outputs/train/eval_act_lekiwi_test/checkpoints/last/pretrained_model)。如果您将模型锚点上传到hf,还可以使用模型库(${HF_USER}/act_lekiwi_test )。
  • 数据集的名称以eval开头,表示正在进行推理(${HF_USER}/eval_act_lekiwi_test )。

3. 最终效果

lekiwi捡垃圾


具身开源套件部分课程如下,欢迎联系合作采购(全套开源)

  1. 树莓派上配置机器人环境
  2. 电脑主机上配置机器人环境
  3. 机器人硬件组装
  4. 基于硬件更新软件配置
  5. 配置舵机ID
  6. 机器人标定
  7. 机器人远程遥控
  8. 机器人数据集记录
  9. 机器人模型训练与评估
  10. 只有lerobot机械臂的全流程:标定、遥控、数据录制、训练、源码解读
Logo

电影级数字人,免显卡端渲染SDK,十行代码即可调用,工业级demo免费开源下载!

更多推荐