方策と推論
type: policy のcontrollerは,学習した方策でfollowerを動かします.方策は,自分で書いたものでも,LeRobotのcheckpointでも,同じ仕組みで読み込みます.
確かめた範囲
自作の方策の経路は,Rakuda2の構成と模擬で使っています.LeRobotの方策(roboloom.policy.lerobot)は,模擬のPiPER+Pikaの構成だけで確かめています.模擬で記録したdataを lerobot-train でCPUで短く学習したACTで,記録から推論までを通しました.実機と,十分に学習した方策では,まだ確かめていません.
全体の流れ
flowchart LR
obs["observation<br/>(state, images, inputs)"] --> policy["policy.infer()"]
policy --> chunk["action chunk [H, n]"]
chunk --> interp["interpolation<br/>rate_hz × N"]
interp --> follower["follower<br/>(max_speed, FollowerSafety)"]
follower --> obs
leader["leader (teleop)"] -. intervention .-> follower
follower --> recorder["recorder → LeRobotDataset"]
- 方策nodeは,followerの関節状態と
observeに挙げた入力・sensorを観測として方策に渡します(自作の方策). - 方策は1手
[n]か,まとめた行動[H, n]を返します.方策nodeはrate_hzの周期で1手ずつ取り出し,その間を補間して,followerの制御周期に近い周期で指令を送ります(非同期の推論と補間). - 送る目標は
max_speedで切り詰め,FollowerSafetyが可動域と期限を検査します.遠隔操作と同じです. teleop:のある構成では,episodeの途中で人がleaderで介入し,また方策に戻せます(teleopと介入).- recorderは,followerに実際に送った指令を
actionに記録します(dataの形式).
ページ
| ページ | 内容 | 状態 |
|---|---|---|
| 方策を動かす | nodes/policy.yaml,roboloom infer,周期と手数,home,Pythonから,sensor選択 |
模擬のみ(sensor選択),開発中(PiPER+Pika) |
| 自作の方策 | 方策の形,bind,観測の選択,失敗したとき,履歴と hold,自分のmodel |
— |
| LeRobotの方策 | checkpointを読み込む,lerobot-train で学習する |
模擬のみ |
| 方策server | 方策を別のprocess・別の環境で動かす(serve-policy) |
模擬のみ |
| 非同期の推論と補間 | inference: async,行動の補間,pchip |
模擬のみ(非同期,pchip) |
| teleopと介入 | teleop:,介入,記録のされ方 |
— |
| 評価と再生 | 評価の成否を残す,記録を再生する | 模擬のみ(再生) |
状態labelの意味は 状態label にあります.keyの一覧は 方策の設定,commandは CLI にあります.
限界
- LeRobotのRTCには対応していません.非同期の推論は,行動の列を混ぜずに入れ替えます.
- ACTの時間方向の平均(
temporal_ensemble_coeff)は,mode: stepのときだけ働きます.