Rakuda2:介入しながら評価する
実機検証済み
- 目的:方策でRakuda2を動かし,失敗しそうなときにleaderで代わり,また方策に戻す.介入した行を区別して記録する.
- 前提:Rakuda2:収集から推論まで で方策が動く.leaderとfollowerを支えられる.
- 所要:1時間.
- 結果:
datasets/rakuda2-eval-teleopに,action.interventionとobservation.leaderを含むepisodeが保存される.
確かめた範囲
Rakuda2の実機で確かめたのは,方策の推論と介入(policy_teleop)です.例に使うLeRobotの方策の読み込み(roboloom.policy.lerobot:load)と実験fileは 模擬のみ です.
stateDiagram-v2
state "保持" as hold
state "leaderで動かす(記録なし)" as pre
state "方策" as policy
state "介入(leader)" as takeover
[*] --> hold
hold --> pre: Teleop
pre --> policy: Start
hold --> policy: Start
policy --> takeover: Teleop
takeover --> policy: Policy
policy --> hold: Stop
takeover --> hold: Stop
1. 実験fileを書く
方策とoptionを,projectの configs/roboloom/<名前>.yaml にまとめます.policy_teleop は policy を必要とするので,両方が有効になります.
# configs/roboloom/cup-teleop.yaml
help: カップの方策の評価.leaderで介入できる
robot: rakuda2
options: [policy_teleop]
nodes:
controllers.policy:
factory: roboloom.policy.lerobot:load
kwargs: {path: /home/me/my_project/outputs/train/act_rakuda2/checkpoints/last/pretrained_model}
task: pick up the cup
kwargsのpathは絶対pathにします.nodes/policy_teleop.yamlはnodes/policy.yamlにteleop: [controller.yaml]を足したものです.介入のときはcontroller.yamlのjointcontrollerでleaderが動かします.- 書き方は 実験file にあります.
uv run roboloom validate --experiment cup-teleop
options: policy, policy_teleop; dataset: local/rakuda2-eval-teleop と出ることを確かめます.
2. 起動して評価する
uv run roboloom run --experiment cup-teleop
| 操作 | key | 動き |
|---|---|---|
| Teleop(episodeの外) | t |
記録せずに,leaderでfollowerを開始姿勢へ動かす |
start pick up the cup |
— | 方策と記録を始める.Teleopの後ならそこから方策が引き継ぐ |
| Teleop(episode中) | t |
方策を止め,leaderに切り替える(介入) |
| Policy | p |
leaderから方策に戻す.方策は reset() から始め直す |
stop,save success |
— | 止めて,成否を付けて保存する |
- Teleopを押すと,followerの関節はすべて今の目標で止まります.leaderの関節が近づくか値をまたぐと,その関節から順に追従します.画面の方策の行に,まだつかまえていない関節と差(
pickup)が出ます. - gripperは,triggerをfollowerの開き具合まで握り込むまで動きません.
- 別の端末からは
uv run roboloom session teleop,uv run roboloom session policyで同じ操作を送れます. - 詳しい動きは teleopと介入 にあります.
3. 記録を確かめる
uv run roboloom check-dataset --experiment cup-teleop
| feature | 中身 |
|---|---|
action.intervention |
人がleaderで動かした行は1 |
observation.leader |
leaderの関節位置(17) |
- episodeの外のTeleopは記録しません.
- episodeの最初の1〜2行は,
startの直前の人の指令が残り,action.interventionが1になることがあります. - leaderも記録するので,
policyだけのdataset(rakuda2-eval)とは別になります.