非同期の推論と補間
方策nodeは,rate_hz の周期で行動を1手ずつ取り出し,その間を補間してfollowerへ送ります(周期と手数).このページは,推論を指令と並行して走らせる方法と,補間の方法を説明します.keyの一覧は 方策の設定 にあります.
非同期の推論 模擬のみ
推論の遅いmodelでは,まとめた行動の境目ごとに,infer の間followerが止まります.inference: async は infer を別threadで走らせ,その間も並んでいる行動を送り続けます.
inference: async # 既定は sync
replan_at: auto # 残りがこの手数になったら次の推論を始める
action_horizon: 16
- 並んでいる行動が
replan_at手になったら,次の推論を始めます(autoはaction_horizonの半分.数を書くならaction_horizon未満).残りの行動で推論の時間をまかなえるように決めます(replan_at / rate_hz秒). - 新しい行動の列は,先頭のd手を捨ててから,並んでいる行動と入れ替えます.dは,その推論に使った観測のあとに実行した手数です.行動はそれぞれ本来の時刻に実行されます(LeRobotの非同期のrolloutと同じ考え方です).controllerの行の
droppedがdです. - 行動の列が届く前に並んでいる行動がなくなると,指令を送らず,followerは保持します(
late_inference).replan_atかaction_horizonを増やしてください.episodeの始めは,最初の列が届くまでwaiting_inferenceです. - teleopへの切り替え,
stop,sensorの値が古くなったときは,走っている推論の結果を捨てます.policy.reset()はその推論が戻るまで待つので,resetとinferが重なることはありません. inferの例外は,同期のときと同じくepisodeを止めます(episodeの途中で方策が失敗したとき).- 方策は,観測した時刻から始まる行動の列を返すものとして扱います.呼ばれるたびに続きを返す方策(記録の再生など)では,先頭を捨てると行動が飛びます.そういう方策は,
bind(spec)でspec.inferenceを見てasyncを断ってください. - 新しい列と古い列は混ぜません.real-time chunking(RTC.flow matchingのmodelに古い列を条件として渡す方法)は実装していません.続けて返す列が大きく違う方策では,入れ替えのときに目標が飛びます(
max_speedの範囲内).
行動の補間
方策nodeは rate_hz × N(N は interpolation_multiplier)の周期で指令を送ります.行動はN回の指令ごとに1手取り出し,その間は1つ前の行動から今の行動までの直線をN等分した目標を送ります.行動の時間の間隔は学習時のまま,followerには細かい目標が届きます.
N を書かなければ(または auto),rate_hz × N が整数のHzで,いちばん遅いfollowerの control_hz 以下になる最大のNを使います.followerが受け取れる限り細かく指令を送ります.
rate_hz |
followerの control_hz |
計算されるN | 指令の周期 |
|---|---|---|---|
| 15 | 120(Rakuda2) | 8 | 120 Hz |
| 5 | 120 | 24 | 120 Hz |
| 7.5 | 120 | 16 | 120 Hz |
| 30 | 30 | 1(補間しない) | 30 Hz |
数を書くと,その値を使います.1 は補間せず,行動を1手ずつ送ります.
rate_hz: 5 # 5 Hz で学習した方策
interpolation_multiplier: 12 # 指令を 60 Hz に抑える(省略すると 24,120 Hz)
- LeRobotのrollout(
lerobot.utils.action_interpolator.ActionInterpolatorのinterpolation_multiplier)と同じ方法です.違いは最初の1手だけです.LeRobotは最初の行動をそのまま送りますが,roboloomはfollowerが保持している目標から最初の行動まで補間します. - followerが各行動に着くのは,その行動が出てから1手分(
1/rate_hz,5 Hzなら200 ms)あとです. - 数を書くときは,
rate_hz × Nを整数のHzで,どのfollowerのcontrol_hz以下にします.それ以外は読み込み時に拒否します.rate_hzが整数のHzにできない値(7.33 など)のときは,計算されるNは1です. - 使っているNは,操作画面の方策の行に
interpolationとして出ます. - 評価で記録するdatasetの
actionは,followerに実際に送った補間後の目標です. - まとめた行動の境目では,
inferの間だけ補間も止まります.次の行動は,止まる前に着いた行動から続けます. - 送る目標は,followerが保持している目標から
max_speedの分までに切り詰め,FollowerSafetyが可動域と期限を検査します.遠隔操作と同じです.
直線の代わりに滑らかな曲線を使う(interpolation: pchip) 模擬のみ
直線では,行動のたびに速度が急に変わります.interpolation: pchip は,同じ行動を通る単調な3次曲線(Fritsch–Carlson)を送ります.
interpolation: pchip # 既定は linear
- 目標は,どの行動もその本来の時刻に通ります.直線に対する遅れは増えません(low-pass filterでは遅れます).
- 隣り合う2つの行動の間では,目標はその範囲から出ません.方策の行動に雑音があっても,行き過ぎません.
- 行動の時刻で速度が連続します.ただし,先に読んだ次の行動が,実際に次に実行する行動と同じ場合に限ります(下の項目).保持している姿勢からの最初の行動は,速度0から始まります.2つの行動の中間では,速度が直線の1.5倍まで上がることがあります.
max_speedの制限は同じく効きます. - 曲線には,向かっている行動の次の行動が要ります.並んでいる行動から取ります.まとめた行動の最後の手(同期の推論,または
action_horizon: 1)には次がないので,その区間は直線の傾きで終わります.inference: asyncなら,並んでいる行動がなくなる前に次の列が届くのがふつうです. - 速度が連続しない場合が2つあります.1つは,次の行動を読めなかった区間のあとで,次の行動が逆向きか,大きく違う場合です(まとめた行動の境目,
action_horizon: 1).もう1つは,inference: asyncで並んでいる行動が入れ替わり,先に読んだ次の行動が変わった場合です.どちらでも,次の区間の始めの傾きを範囲に収め直すので,行き過ぎはしませんが,その行動の時刻で速度が飛びます. - 既定は
linearのままです.LeRobotと同じ方法で,これまでの確認はこちらで行っています.どちらも実機で比べてはいません.記録したepisodeをそれぞれで再生し(記録を再生する),記録されたobservation.stateを比べてください.