DIGIT
状態:実機検証済み
実機検証済み Rakuda2の実機で,左右のDIGITを含む収集を確かめています.
DigitSensor は digit-interface を使って触覚画像を取得します.digit extraが必要です(Installation).左右のsensorには異なるserial番号を設定します.
type: digit
serial: SET_DIGIT_LEFT_SERIAL
name: left
resolution: QVGA
height: 320
width: 240
fps: 30
resolution |
height |
width |
|---|---|---|
QVGA |
320 | 240 |
VGA |
640 | 480 |
digit-interface.get_frame() が転置済みの画像を返すため,設定の高さ・幅はこの順です.一般的なQVGA/VGAの幅・高さの表記から逆にしないでください.fps はSDKの当該解像度の対応値から選び,非対応値は接続時に拒否されます.
取得画像はBGRからRGBへ変換されます.node名が digit_left / digit_right の場合,observation.images.digit_left / observation.images.digit_right に記録します.
DIGITのnodeごとに,nodes/recorder.yaml の max_age_ms の項目も必要です.Sensors の「Recorderの設定」を参照してください.
Rakuda2の対応構成と重力補償との併用方法は 機体ページ にあります.
Image storage
画像sensorのnode YAML に storage: video | image を指定します(RealSense、DIGIT、Pika 手首cameraを含む V4L2)。既定は video で、従来の非可逆 MP4 です。image は可逆 PNG frameを Parquet に埋め込みます。DIGIT と背景の微小な画素差を使う場合に推奨します。同じdataset内で混在できます。不正な値は validate を含む設定読み込み時に拒否します。
PNG は一般に容量と PNG 圧縮・書き込み負荷が増えます。実際の容量と速度は画像内容と機器に依存します。非圧縮 RGB の参考値は 320×240×3、dataset fps 30 でsensorあたり 6.9 MB/s(640×480 は 27.6 MB/s)です。PNG の実測値ではありません。LeRobot 0.7.0 の image の PNG 圧縮levelは 6 です。保存形式の変更は feature dtype の変更になるため、別のdataset output を指定してください。以前のschemaへの追記は拒否します。
live観測は引き続き HWC uint8 RGB です。LeRobot の読み出しは両形式とも既定で CHW float32、範囲 [0, 1] になり、checkpointの入力型は VISUAL のままです。保存形式は mock・合成frameのみで試験し、実機では未検証です。
video の MP4 の codec(既定 H.264,または AV1)は recorder の video_codec で選びます.