コンテンツにスキップ

Dataset features

Detail 説明
— roboloom が LeRobotDataset 0.7.0 に書く列(特徴量)の一覧です.どの列があるかは,設定の followers・inputs・sensors・記録する estimators と,有効なoptionで決まります.roboloom validate で検証した設定の列は roboloom.recording.features(cfg) で確かめられます(Recording).行の割り当てと欠損の扱いは dataの形式 にあります.
— <follower>,<input>,<sensor>,<estimator>,<source> は,設定でのnodeの名前です(Rakuda2 のtemplateでは follower,leader,camera,digit_left など).
— <source> は記録するnodeすべて(inputs,followers,sensors,record: true の estimators)を指します.
— 複数のnodeにまたがる列(observation.state など)は,設定の順にnodeの値をつなぎます.names が,どの要素がどのnodeのものかを示します(follower.r_arm_sh_pitch1).
— 形は1行あたりです.

Observation

列 dtype shape ある条件 意味
observation.state float32 (全followerの関節数,) followerがある 各followerの関節位置.各followerの単位.names は <follower>.<joint>
observation.effort float32 (record_effort のfollowerの関節数,) followerの record_effort: true 関節の電流・torque.単位は機種の値(Rakuda2・Pika は mA,PiPER は N·m).1つの列に単位の違う機種は混ぜられない
observation.<input> float32 (関節数,) 関節の入力(leader など)がある 入力機器の関節位置.names は関節名.option policy では leader を外すのでこの列はなく,policy_teleop では leader を戻すのでこの列がある
observation.<input> 開発中 float32 (10,) 姿勢の入力(Pika Sense)がある x,y,z(m),qx,qy,qz,qw,gripper(rad.ない機器は0),tracking(1/0),engaged(1/0)
observation.images.<sensor> video か image (高さ, 幅, 3) camera・触覚の画像sensor(RealSense,DIGIT など) RGB 画像.dtype はsensorの storage(既定 video.image は 模擬のみ).names は height,width,channels
observation.audio.<sensor> 開発中 int16 (sample_rate / dataset_fps,) type: pcm_mono 1行ぶんの PCM
observation.audio.<sensor> 開発中 float32 (n_mels, 1 + sample_rate·window_seconds // hop_length) type: mel_mono 直近 window_seconds の対数mel power(低い周波数から)
observation.effort_ext 模擬のみ float32 (推定する関節数,) estimator の record: true 外力(推定の残差の符号を反転したもの).単位は estimator の単位.names は <follower>.<joint>
observation.effort_ext.valid 模擬のみ float32 (estimator の数,) estimator の record: true その estimator の推定が有効なら1
observation.contact 模擬のみ float32 (estimator の数,) estimator の record: true 接触を判定したら1
task 文字列(LeRobot が task_index に変える) — 常に episodeの task
Detail 説明
--- ---
— 使える標本がない行は,そのnodeの最後の有効な値をくり返します(最初の標本より前は0).このとき observation.meta.<source>.valid が0です(欠損の扱い).
— 方策が受け取る観測は,同じ名前と形です(observation.meta を除く.観測).

Action

Detail 説明
— followerのない構成(手に持って記録する機器)には,action で始まる列はありません.
列 dtype shape ある条件 意味
action float32 (全followerの関節数,) followerがある 各followerが行の時間 [t_k, t_{k+1}) に最初に送った指令.observation.state と同じ並びと単位.指令を送らなかったfollowerは,保持していた目標(なければ位置)で埋める.policy の hold に挙げた joint も入る.明示的な write claim を持つ hook は held target を変更できる
action.valid float32 (1,) followerがある すべてのfollowerがその行で指令を送ったら1
action.clamped float32 (1,) followerがある どれかのfollowerの指令が制限で切り詰められたら1
action.intervention float32 (1,) 方策に teleop: がある(option policy_teleop) その行を人が leader で動かしたら1(teleopと介入)
action.filtered Mock only float32 (1,) policy YAML の hooks: entry に空でない writes がある(factory または from: policy) 行内の全 follower の valid command のいずれかが hook で変更された場合 1.speed/safety limit の前の変化で,policy teleop を含む全 command の OR.write claim がなければ column は作らない

Metadata

Detail 説明
— 各nodeの時刻と有効さです.時刻は time.monotonic_ns() の時間です.
列 dtype shape ある条件 意味
observation.meta.<source>.valid float32 (1,) 記録するnodeごと 行の時刻 t_k に,取得から max_age_ms 以内の標本があれば1(同じ標本が続く行で使われることもある).0の行は最後の有効な値のくり返し
observation.meta.<source>.capture_age_ms float32 (1,) 記録するnodeごと 行の時刻 t_k から見た,標本の取得からの経過(ms).標本がなければ0
observation.meta.<source>.ready_age_ms float32 (1,) 記録するnodeごと t_k から見た,標本が使えるようになってからの経過(ms).標本がなければ0
observation.meta.<source>.seq int64 (1,) 記録するnodeごと 標本の通し番号.標本がなければ −1
observation.meta.<source>.capture_ns int64 (1,) 記録するnodeごと 標本を取得した時刻.標本がなければ0
observation.meta.<source>.ready_ns int64 (1,) 記録するnodeごと 標本が使えるようになった時刻.標本がなければ0
observation.meta.<source>.receive_ns int64 (1,) 記録するnodeごと recorder が受け取った時刻.標本がなければ0
action.meta.<follower>.valid float32 (1,) followerごと そのfollowerが行の時間に指令を送ったら1
action.meta.<follower>.clamped float32 (1,) followerごと その指令が制限で切り詰められたら1
action.meta.<follower>.seq int64 (1,) followerごと 指令の通し番号.なければ −1
action.meta.<follower>.sent_ns int64 (1,) followerごと 指令を送った時刻.なければ0
Detail 説明
--- ---
— LeRobot が足す列もあります.
列 dtype shape 意味
timestamp float32 (1,) episodeの始めからの時刻(秒)
frame_index int64 (1,) episodeの中の行番号
episode_index int64 (1,) episode番号
index int64 (1,) dataset全体での行番号
task_index int64 (1,) task の番号

In training

Detail 説明
— LeRobot は *.valid の列を特別に扱いません.valid が0の行も,ほかの行と同じく学習に使われます.除き方は dataの検査と学習 と valid を参照してください.
— LeRobot は observation. で始まる列を観測の特徴量として,action で始まる列を行動の特徴量として方策の設定に載せます.ただし ACT などの方策のmodelが読む観測は,observation.state,observation.environment_state と画像です.observation.meta.*,observation.<input>,observation.effort は,datasetにあってもmodelの入力になりません.

Rakuda2 example

Detail 説明
— Rakuda2 のtemplate(roboloom init rakuda2)で,optionごとに変わる列です.
option 増える列 なくなる列
なし(teleop の収集) observation.state,observation.effort,observation.leader,observation.images.camera,action,action.valid,action.clamped,action.meta.follower.*,observation.meta.{leader,follower,camera}.* —
digit observation.images.digit_left,observation.images.digit_right,それぞれの observation.meta.* —
policy — observation.leader,observation.meta.leader.*
policy_teleop observation.leader,observation.meta.leader.*,action.intervention —
pika 開発中 observation.right_sense,observation.left_sense,それぞれの observation.meta.* observation.leader,observation.meta.leader.*
--sensors camera,audio 開発中 observation.audio.audio,observation.meta.audio.* —
bilateral 模擬のみ observation.effort_ext,observation.effort_ext.valid,observation.contact,observation.meta.effort.* —