コンテンツにスキップ

音声

状態:開発中

開発中 模擬(固定の配列を返すmock)とtestだけで確かめています.実機のmicでは確かめていません.

音声はrobot共通の任意sensorです. uv pip install 'roboloom[audio]' で sounddevice と librosa を追加します. PortAudio の利用可能な入力device名を指定してください.

# config.yaml
sensors:
  audio: {file: nodes/audio.yaml, default: false}
# nodes/audio.yaml
type: mel_mono
device: YOUR_MICROPHONE
channels: 1
sample_rate: 44100
window_seconds: 1.0
n_mels: 64
n_fft: 2048
hop_length: 690
fmax: 15000

recorder の max_age_ms に audio: 1500 などの許容遅延を追加します. mel_mono は直近1秒のmono波形を,低周波から高周波順の float32[64,64] の対数mel powerにします.center=True,power=2, power_to_db(ref=1.0),librosa の既定の Hann 窓・Slaney mel・top_db=80 を使います. 着色・上下反転はしません.既存の pcm_mono は int16[int(sample_rate/dataset_fps)] を維持します. 保存keyはどちらも observation.audio.<name> です.

取得は InputStream と固定長bufferで継続します.時刻は窓の終端です. 初期窓が揃うまで,または新しい音声がない間は新しい有効sampleを出しません. 記録の欠測は既存の valid fieldで判定してください. mock は実機用依存を読み込まず固定配列を返します.

独自 policy は数値配列として利用できます.LeRobot 標準modelの音声encoder, PCM とmelの同時出力,stereoは対象外です.

追記時にはkey・dtype・shape・名前と順序・FPS・robot_type を検査します. 音声処理設定は meta/roboloom.json でも比較します.不一致や音声metadataが ない旧dataには追記せず,手動で repo_id と output を変更してください. 保存先の自動生成や構成 ID は追加しません.既存の options の dataset 接尾辞は維持します.