sensor(sensors)
sensors: のnode YAMLのkeyです.sensorは記録するだけの機器で,observe に入れると方策にも渡ります.機器ごとの準備と制約は Sensors の各ページを参照してください.recorderの max_age_ms に各sensorの項目が必要です(recorder).
共通のkey
| key | 型 | 既定値 | 単位 | 説明 |
|---|---|---|---|---|
type |
文字列 | 必須 | — | realsense_rgb,digit,v4l2_rgb,opencv_rgb,pcm_mono,mel_mono か module:Class |
fps |
数値 | 画像sensorでは必須 | Hz | 読む周期(制御周期 の規則に従う).音声のsensorは持たない(書くと拒否) |
画像sensorの共通のkey
realsense_rgb,digit,v4l2_rgb,opencv_rgb が読むkeyです.画像はHWCのuint8 RGBで,observation.images.<sensor> に記録します.形が設定と違うframeは拒否します.
| key | 型 | 既定値 | 単位 | 説明 |
|---|---|---|---|---|
fps |
数値 | 必須 | Hz | cameraに求める周期 |
width |
整数 | 必須 | px | 幅 |
height |
整数 | 必須 | px | 高さ |
storage |
文字列 | video |
— | video(非可逆のMP4)か image(可逆のPNG)(下記) |
画像の保存形式(storage)
画像sensorのnode YAMLに storage: video | image を指定します(RealSense,DIGIT,Pika手首cameraを含むV4L2).既定は video で,従来の非可逆MP4です.image は可逆PNG frameをParquetに埋め込みます.DIGITと背景の微小な画素差を使う場合に推奨します.同じdataset内で混在できます.不正な値は validate を含む設定読み込み時に拒否します.
PNGは一般に容量とPNG圧縮・書き込み負荷が増えます.実際の容量と速度は画像内容と機器に依存します.非圧縮RGBの参考値は320×240×3,dataset fps 30でsensorあたり6.9 MB/s(640×480は27.6 MB/s)です.PNGの実測値ではありません.LeRobot 0.7.0の image のPNG圧縮levelは6です.保存形式の変更はfeature dtypeの変更になるため,別のdataset output を指定してください.以前のschemaへの追記は拒否します.
live観測は引き続きHWC uint8 RGBです.LeRobotの読み出しは両形式とも既定でCHW float32,範囲 [0, 1] になり,checkpointの入力型は VISUAL のままです.保存形式は 模擬のみ で,mock・合成frameのみで試験し,実機では未検証です.storage: video のcodecは recorder の video_codec で選びます.
realsense_rgb
Intel RealSenseのcolor画像です(RealSense).
| key | 型 | 既定値 | 単位 | 説明 |
|---|---|---|---|---|
serial |
文字列 | 必須 | — | serial番号(rs-enumerate-devices) |
digit
DIGITの触覚画像です(DIGIT).
| key | 型 | 既定値 | 単位 | 説明 |
|---|---|---|---|---|
serial |
文字列 | 必須 | — | serial番号 |
resolution |
文字列 | QVGA |
— | QVGA か VGA.height と width はこれに合わせる(QVGA:height: 320,width: 240.VGA:height: 640,width: 480) |
name |
文字列 | serial の値 |
— | digit_interface に渡す名前 |
fps は,その解像度で機器が対応する値だけを受け付けます(開くときに確かめます).
v4l2_rgb 開発中
Video4Linux2のUSB(UVC)cameraです.Pika SenseとPika Gripperの魚眼cameraに使います(Pikaのcamera).開くときに形式・大きさ・周期を設定し,そのとおりに出ないcameraは拒否します.
| key | 型 | 既定値 | 単位 | 説明 |
|---|---|---|---|---|
device |
文字列 | 必須 | — | /dev/v4l/by-path/... か /dev/v4l/by-id/...(/dev/video<n> は起動ごとに変わりうる) |
format |
文字列 | MJPG |
— | MJPG か YUYV |
Web camera(opencv_rgb) 開発中
OpenCVで読むUSB cameraと内蔵cameraです.実機では確かめていません.詳細とOSごとの制約は Web camera を参照してください.大きさは厳密に確かめ,fps と format は要求として送ります.
| key | 型 | 既定値 | 単位 | 説明 |
|---|---|---|---|---|
device |
0以上の整数か /dev/ のpath |
必須 | — | cameraの番号かpath.pathは backend が auto か v4l2 のときだけ使える |
backend |
文字列 | auto |
— | auto,v4l2,avfoundation,msmf,dshow |
format |
文字列 | — | — | MJPG か YUYV |
音声(pcm_mono,mel_mono) 開発中
monoのmicです(音声).datasetの1 frameにつき1つの塊を observation.audio.<sensor> に記録します.fps は持ちません.
pcm_mono は,int16のPCM(sample_rate / dataset_fps sample)を記録します.
| key | 型 | 既定値 | 単位 | 説明 |
|---|---|---|---|---|
device |
文字列 | 必須 | — | 入力device |
channels |
整数 | 必須 | — | 1 だけ |
sample_rate |
数値 | 必須 | Hz | sampling周波数 |
mel_mono は,直近 window_seconds 秒の対数mel power(float32,[n_mels, 1 + window samples // hop_length])を記録します.pcm_mono のkeyに加えて,次を読みます.
| key | 型 | 既定値 | 単位 | 説明 |
|---|---|---|---|---|
sample_rate |
数値 | 44100 |
Hz | sampling周波数 |
window_seconds |
数値 | 1.0 |
s | 窓の長さ.窓は n_fft 以上 |
n_fft |
整数 | 2048 |
sample | FFTの長さ |
hop_length |
整数 | 690 |
sample | frameの間隔 |
n_mels |
整数 | 64 |
— | mel帯域の数 |
fmax |
数値 | 15000 |
Hz | 最高周波数(Nyquist周波数以下) |
sensorの選択
load_config(..., sensors=[...], observe=[...]) と Session.launch(..., sensors=[...], observe=[...]) で,起動・記録するsensorと,方策に渡す観測を独立に指定します.None は設定の既定,[] は選択なしです.followerの状態は常に渡します.RobotConfig を渡す場合は load_config で選択を確定してください(Session.launch に選択の引数を足すとerrorです).
with Session.launch(
"rakuda2",
options=["policy"],
sensors=["camera", "audio"],
observe=["camera"],
policy="my_lab.policies:load",
) as session:
session.wait_ready()
session.record("pick", seconds=20)
- CLIは
--sensors camera,audio --observe camera,空の選択は--sensors "" --observe ""です. - launcherにはsensor起動とpolicy観測の独立したチェック欄があり,前回の選択を保存します.
- 選ばなかったsensorのYAMLは読み込みません.起動していないsensorを観測に指定するとerrorです.
- 左右のDIGITを含め,optionで追加されるsensorも個別に選べます.
- 既定で起動しないsensorは,
config.yamlで{file: nodes/audio.yaml, default: false}と宣言します.従来の文字列のpathは既定で有効です.選択はoptionを適用したあとに解決します. observeに含めないsensorも,起動すれば記録します.
例
# nodes/camera.yaml
type: realsense_rgb
serial: SET_REALSENSE_SERIAL # rs-enumerate-devices
width: 640
height: 480
fps: 30
storage: video