コンテンツにスキップ

Sensors

sensorは,cameraや触覚などの観測を取得するnodeです.recorderが記録の行にそろえ,方策には observe で選んだものを渡します.画像はHWC・3 channel RGBで扱います.sensorの fps は取得周期,設定の dataset_fps は記録周期です.

sensor type 出力 状態
RealSense realsense_rgb RGB camera画像 実機検証済み
DIGIT digit 触覚RGB画像 実機検証済み
音声 mel_mono,pcm_mono mel spectrogram,PCM 開発中
Pikaの手首camera v4l2_rgb,realsense_rgb 魚眼とD405のRGB画像 開発中
Web camera opencv_rgb RGB camera画像 開発中

機体ごとの対応

機体 RealSense DIGIT 音声 Pikaの手首camera Web camera
Rakuda2 実機検証済み 実機検証済み 開発中 — 開発中
PiPER+Pika Gripper 開発中 — 開発中 開発中 開発中
Pika Senseを手に持つ — — — 開発中 —

音声とWeb cameraは,どの機体の設定にも足せる種類です.方策の種類まで含めた表は 対応表 にあります.

Recorderの設定

どのsensorも,nodes/recorder.yaml の max_age_ms にnode名をkeyとした項目が必要です.datasetの行に使えるsampleの古さの上限(ms)で,それより古いものは欠測として記録します(valid は0.値は直前の有効なsampleを繰り返し,まだ一度も届いていないときだけ0).inputとfollowerにも必要です.項目が無いと,設定の読み込みが max_age_ms.<name>: expected positive finite number(例:max_age_ms.digit_left: expected positive finite number)で失敗します.

max_age_ms:
  leader: 200
  follower: 200
  camera: 200
  digit_left: 200
  digit_right: 200

Rakuda2のtemplateには camera,digit_left,digit_right の項目があります.sensorを追加したときやnode名を変えたときは,この項目も追加・変更します.構成にないnodeの項目は無視されるので,templateはどのoptionの項目も持っています(digit optionを使わないときの digit_left など).名前を打ち間違えた項目も同じく無視され,読み込みは正しい名前のnodeの項目がないと報告します.

storage: video の画像の codec(AV1 か H.264)は,同じ nodes/recorder.yaml の video_codec で選びます(Video codec).