dataの形式
record extraでLeRobotDataset 0.7.0に保存します.取得・利用可能・受信・指令送信の単調時計時刻を区別して整列し,欠損は直前の有効な値と有効flagで表します.task はframeに記録されます.列名・dtype・shapeの一覧は datasetの特徴量 にあります.
記録するもの
followerが複数あるとき,observation.state,observation.effort,action は全followerを設定の順につなげた1本のvectorです.names が各要素の持ち主を <follower>.<joint> で示します(例:follower.r_arm_sh_pitch1).ほかのfeatureはnodeごとで,node名が付きます.
| feature | 中身 |
|---|---|
observation.state |
各followerの関節の位置 |
observation.effort |
record_effort: true のfollowerの力の量.単位の違うfollowerは混ぜられません |
observation.<input名> |
各inputの読み値.inputのnode名が付きます(例:observation.leader).leader armのような関節のinputは,関節の位置をそのinputの単位で,関節名(接頭辞なし)を付けて記録します.姿勢のinputは x,y,z,qx,qy,qz,qw,gripper,tracking,engaged を記録します |
observation.images.<sensor> などsensorのfeature |
各sensorが記録するもの.Sensors の各ページを参照 |
observation.meta.<node>.valid / capture_age_ms / ready_age_ms(float32),seq / capture_ns / ready_ns / receive_ns(int64) |
記録するnode(input,follower,sensor)ごとに1組.その行でそのnodeのsampleを使ったか,取得からと使えるようになってからの経過時間(ms),通し番号,取得・使用可能・受信の時刻(単調時計のns) |
action |
各followerがその行の区間に送った最初の指令.observation.state と同じ並び |
action.valid |
全followerが指令を送った行で1 |
action.clamped |
どれかのfollowerが制限した行で1 |
action.meta.<follower>.valid / clamped / seq / sent_ns |
followerごとの指令の有無,制限,指令の番号,送信時刻 |
詳しくは 観測,行動,meta情報 の各表にあります.action の各要素の単位は,datasetの meta/roboloom.json に残ります(datasetのmetadata).
構成で変わる特徴量
どの特徴量があるかは,その記録で動いていたnodeで決まります.
observation.<input名>は,その input が構成にあるときだけあります.Rakuda2 のtemplateのoptionpolicyは leader を外すので(inputs.leader: null),評価のdatasetにobservation.leaderはありません.policy_teleopは leader を戻すので,observation.leaderがあります.action.interventionは,teleop:のある方策の controller があるときだけあります(teleopと介入).- 方策の
holdに挙げた関節もactionにあり,その要素にはfollowerが保持している目標が入ります(履歴,動かさない関節,新しい観測). - 方策の
observeは,方策に渡す観測を選ぶだけです.起動したsensorはすべて記録します(sensor選択). - followerのない構成(手に持った装置,sensorだけ)には
action*の特徴量はありません. - 記録する特徴量を変えるoptionには
datasetを付け,datasetを分けます(起動option).
行の割り当て
recorderは,episodeを dataset_fps の周期の行に区切り,各nodeの出力を因果的に(その時刻までに届いたものだけで)割り当てます.
sequenceDiagram
participant X as sensor
participant F as follower
participant R as recorder
Note over R: 行 k は t_k から t_k+1 まで
X->>R: 観測(t_k までに届いた最新)
F->>R: 状態(t_k までに届いた最新)
F->>R: 指令(t_k から t_k+1 の最初の1つ)
Note over R: 全followerの指令が t_k+1 を過ぎたら確定
R->>R: 行 k を書く
- 行 k は
[t_k, t_{k+1}),t_k = t0 + k / dataset_fpsです. - 観測は,recorderが
t_kまでに受け取ったものから選びます.max_age_msより古いものは使わず,直前の有効な値を繰り返してobservation.meta.<node>.validを0にします. action[k]は,followerごとに[t_k, t_{k+1})で最初に送った指令です.送らなかったfollowerは保持している目標で埋め,action.meta.<follower>.validを0にします.- 行は,全followerの指令の流れが
t_{k+1}を過ぎたとき(黙っているfollowerがあればt_{k+1}からgrace_ms後)に確定します. startの直前に届いた最新のsampleを残しておくので,行0は空になりません.- followerのない構成(手に持つ機器,sensorだけ)では
action*がなく,t_{k+1}を過ぎた行から確定します.
有効flag
| 列 | 1の意味 | 0の意味 |
|---|---|---|
observation.meta.<node>.valid |
その行で,そのnodeの新しいsampleを使った | max_age_ms 以内のsampleがなかった.値は直前の有効なsampleのもの(欠損の扱い).seq は-1 |
action.valid |
全followerがその行の区間に指令を送った | どれかのfollowerが指令を送らなかった |
action.meta.<follower>.valid |
そのfollowerが指令を送った | そのfollowerは指令を送らず,その部分は保持していた目標で埋めた |
action.clamped,action.meta.<follower>.clamped |
どれかのfollower(またはそのfollower)の安全の検査が,指令を可動域か速度の上限に収めた | 制限しなかった |
action.intervention |
人がleaderで動かした行(teleop: のある構成だけ) |
方策が動かした行 |
欠損の扱い
- 古い観測:
nodes/recorder.yamlのそのnodeのmax_age_msより古いsampleは使いません.その行はobservation.meta.<node>.validを0,seqを-1にし,featureにはそのnodeの直前の有効なsampleの値を入れます(まだ一度も届いていないときだけ0).0で埋めると,統計の最小値と平均が0に引かれるためです.input,follower,sensorのどれにもmax_age_msの項目が必要です(recorderの設定). - 指令のない行:指令を送らなかったfollowerの部分は,そのfollowerが保持していた目標(状態の
target.なければ位置)で埋めます.ゼロで埋めると,学習した方策が0への跳びを覚えるためです.その行のaction.meta.<follower>.validとaction.validは0です. - 行の確定:行は,全followerの指令がその区間を過ぎたとき,または
grace_ms(既定500 ms)が過ぎたときに確定します. - LeRobotの学習は
validを見ません:lerobot-trainは*.validの列で行を選ばず,ほかの列と同じく入力・出力に数えるだけです.LeRobotが学習から外すのは,episodeの終わりを越えた分(action_is_pad)だけです.有効な行だけを使う場合は,action.validやobservation.meta.<node>.validで自分で選んでください.どれだけの行が0かはroboloom check-datasetが表示します(検査と学習).