PiPER+Pikaを模擬で
状態:開発中
開発中 PiPER,Pika Gripper,Pika Senseのdriverは,どれも実機で動かしていません.ここの手順は模擬のdeviceだけで確かめたものです.値(tool_offset など)を実機に使い回さないでください.
- 目的:PiPER 2台とPika Gripper 2台の構成を,模擬のPika Senseで動かして記録し,LeRobotで学習した方策で動かす.
- 前提:roboloomのrepositoryをcloneしている(
.roboloom/piper-mock/はcloneした中だけにある).実機は使わない. - 所要:30分(学習の時間を除く).
- 結果:
.roboloom/piper-mock/datasets/piper-mockに記録ができ,学習した方策の回がpiper-mock-policyに保存される.
flowchart LR
S["模擬のPika Sense ×2"] --> K["pose_ik ×2"]
K --> F["PiPER ×2<br/>Pika Gripper ×2"]
F --> R["記録<br/>piper-mock"]
R --> T["lerobot-train"]
T --> P["infer piper-mock"]
1. 環境を作る
git clone https://github.com/tetsugo02/roboloom.git
cd roboloom
uv sync --extra piper --extra pika --extra record --extra policy --extra train
構成のfileは PiPERのcontroller にあります.
2. 操作画面で動かす
uv run roboloom run piper-mock
- Launch(Ctrl-S)で起動します.
- 「Move home」で腕を
poses/<arm>/ready.yamlへ動かします.腕は折りたたんだ姿勢(すべて0)で始まり,そのままではIKが手に追従できません. - 模擬のSenseは,開いてから2 s後に開始し,その後10 s開始・2 s停止を繰り返します.画面のcontrollerの行が
followingになります. - Start episodeで記録を始め,Stop,Saveで保存します.
3. 長さを決めて記録する
uv run roboloom record piper-mock --task "pick" --seconds 15 --episodes 5 --home --plain
uv run roboloom check-dataset piper-mock
--home は毎回,腕を開始の姿勢へ動かしてから始めます.
4. LeRobotで学習する
uv run lerobot-train \
--dataset.repo_id=local/piper-mock \
--dataset.root=.roboloom/piper-mock/datasets/piper-mock \
--policy.type=act --policy.device=cpu --policy.push_to_hub=false \
--trackio.enable=false --steps=200 --batch_size=8 \
--output_dir=outputs/train/act_piper_mock
経路の確認だけなので,CPUで短く学習します.GPUを使うときは,labstatus で空きを確かめます.
5. 方策で動かす
まず,同じdirectoryの確認用の方策(demo_policy.py)で動かします.
uv run roboloom infer piper-mock --seconds 10 --plain
次に,学習したcheckpointで動かし,--task で評価の回として保存します.
uv run roboloom infer piper-mock --seconds 20 --task "pick" \
--policy roboloom.policy.lerobot:load \
--policy-kwargs "{\"path\": \"$PWD/outputs/train/act_piper_mock/checkpoints/last/pretrained_model\"}"
uv run roboloom check-dataset piper-mock --with policy
- 推論の構成にはSenseがないので,方策は
observation.left_senseなどを使えません. - 介入(
teleop:)は使えません.pose_ikは介入に対応していません.
次へ
- 実機の前に確かめること:PiPER follower,Pika Gripper follower,Pika SenseとIK
- Senseを手に持って集める:Pika Senseを手に持った収集