Rakuda2のsensor
Rakuda2のtemplateが持つsensorと,それを有効にするoptionです.sensorごとの設定は Sensors にあります.
| sensor | node名 | 設定 | 有効にする方法 | 状態 |
|---|---|---|---|---|
| RealSense | camera |
nodes/camera.yaml |
既定で有効 | 実機検証済み |
| DIGIT | digit_left,digit_right |
nodes/digit_left.yaml,nodes/digit_right.yaml |
option digit |
実機検証済み |
| 音声 | audio |
nodes/audio.yaml |
--sensors で選ぶ(既定は無効) |
開発中 |
- sensorのserial番号は実機に合わせて設定します.sensor名はdatasetのfeature名になります(
observation.images.cameraなど). - 各sensorには,
nodes/recorder.yamlのmax_age_msに同じ名前の項目が要ります(Recorderの設定).
組み合わせ
| 有効なoption | 記録するsensor | dataset名 |
|---|---|---|
| なし | RealSense | local/rakuda2 |
digit |
RealSense+左右DIGIT | local/rakuda2-digit |
gravity,digit |
RealSense+左右DIGIT | local/rakuda2-digit |
digit,policy |
RealSense+左右DIGIT | local/rakuda2-digit-eval |
- 画像のfeatureが変わるので,
digitの有無でdatasetが分かれます.RealSenseだけのdatasetへ,DIGITのepisodeは追記しません. digitを有効にしても,方策の入力は変わりません.DIGITを方策に渡すときは,nodes/policy.yamlのobserveを[camera, digit_left, digit_right]にします(観測を選ぶ).- optionの全体は 起動optionと組み合わせ にあります.
sensorを選ぶ
模擬のみ
起動・記録するsensor(sensors)と,方策が観測するsensor(observe)は,起動ごとに別々に選べます.None は設定の既定,[] は選択なしです.followerの状態は常に渡します.
uv run roboloom run --sensors camera,audio
uv run roboloom infer --seconds 20 --sensors camera,audio --observe camera
with Session.launch(
"rakuda2",
options=["policy"],
sensors=["camera", "audio"],
observe=["camera"],
policy="my_lab.policies:load",
) as session:
session.wait_ready()
session.record("pick", seconds=20)
- 空の選択は
--sensors "" --observe ""です.launcherには,起動するsensorと方策の観測のチェック欄が別々にあり,前回の選択を保存します. - 選ばなかったsensorのYAMLは読み込みません.起動していないsensorを観測に指定するとerrorです.
- 左右のDIGITを含め,optionで追加されるsensorも個別に選べます.選択はoptionを適用したあとに決まります.
- 任意のsensorは
config.yamlで{file: nodes/audio.yaml, default: false}と宣言します.文字列のpathは既定で有効です. observeに含めないsensorも,起動すれば記録します.RobotConfigを渡すときは,load_config(..., sensors=[...], observe=[...])で選択を確定してください.- 書き方の規則は sensor選択 にあります.