LeRobotの方策 模擬のみ
roboloom.policy.lerobot:load は,LeRobotで学習したcheckpointを読み込む,既製の方策です.roboloomが記録したdatasetは,そのまま lerobot-train で学習できます.
確かめた範囲
LeRobotの方策は,模擬のPiPER+Pikaの構成だけで確かめています.模擬で記録したdataを lerobot-train でCPUで短く学習したACTで,記録から推論までを通しました.実機と,十分に学習した方策では,まだ確かめていません.
checkpointを読み込む
factory: roboloom.policy.lerobot:load
kwargs:
path: /path/to/project/outputs/train/act_piper/checkpoints/last/pretrained_model # HubのIDも可
device: auto # CUDAがあればcuda,なければcpu
mode: step # step か chunk
rename: {} # {checkpoint name: roboloom name}
action_horizon: 1 # mode: step のとき
| key | 意味 |
|---|---|
path |
checkpointのdirectory(config.json,model.safetensors,policy_preprocessor.json などを含む)か,Hugging Face HubのID |
device |
auto(既定),cpu,cuda など |
mode |
step(既定):LeRobotの select_action で1手ずつ返します.まとめた行動の列と観測の履歴は方策自身が持つので,ACT・Diffusion・SmolVLAのどれでも,LeRobotのrolloutと同じに動きます.action_horizon: 1 で使います.chunk:predict_action_chunk でまとめた行動 [H, n] を返し,action_horizon 手を実行してから次を求めます.観測の履歴を使わない方策(ACTなど)に限ります |
rename |
checkpointの特徴量の名前を,この構成の名前に対応させます.例:{observation.images.wrist: observation.images.left_wrist} |
revision |
Hubのrevision(任意) |
- 読み込みは,LeRobot 0.7.0のrolloutと同じ手順です.設定と重み,保存された前処理と後処理(正規化の統計を含む)をcheckpointから読みます.
- 読み込むときに,checkpointの入力と出力を,この構成の観測とfollowerと照らします.足りない観測や大きさの違いがあれば,名前を挙げて断ります.
- 入力として照らすのは,LeRobotの方策が読むもの(
observation.state,observation.images.*,observation.environment_state)です. - LeRobotの学習は,datasetの
observation.*をすべて入力として記録します(observation.meta.*,observation.effort,Pika Senseのobservation.left_senseなど).LeRobotの方策はこれらを読まないので,推論の構成になくても構いません. - 出力として照らすのは
actionの次元です. - 必要なもの:
uv add 'roboloom[policy]'(このrepositoryではuv sync --extra policy).torchも一緒に入ります.ACTはこれで足ります.Diffusionはlerobot[diffusion],SmolVLAはlerobot[smolvla],pi0はlerobot[pi]が別に要ります. - GPUで推論するときや学習するときは,始める前に
labstatusでGPUの空きを確かめてください. - ACTの時間方向の平均(
temporal_ensemble_coeff)は,mode: stepのときだけ働きます(限界).
LeRobotで学習する
roboloomが記録したdataset(LeRobotDataset v3.0)は,そのまま lerobot-train で学習できます.
# 学習に lerobot[training](accelerate,trackio)が要ります
uv add git+https://github.com/tetsugo02/roboloom.git --tag v0.2.0 --extra policy --extra train # 自分のprojectで
uv sync --extra policy --extra train # roboloomのrepositoryをcloneした中で
uv run lerobot-train \
--dataset.repo_id=local/piper-mock \
--dataset.root=.roboloom/piper-mock/datasets/piper-mock \
--policy.type=act --policy.device=cuda --policy.push_to_hub=false \
--trackio.enable=false \
--output_dir=outputs/train/act_piper_mock
--dataset.repo_idは構成のrepo_id,--dataset.rootはrobotのdirectoryから見たoutputです.- 学習したcheckpointは
<output_dir>/checkpoints/last/pretrained_modelにできます.これをpathに渡します.名前は記録したときのままなので,renameは要りません. lerobot-trainは,datasetのobservation.*をすべて入力に,action*をすべて出力に数えます(observation.meta.*,observation.effort,action.valid,action.meta.*など).ACTが読むのはobservation.state,画像,actionだけで,ほかは学習にも推論にも使われません.action.validが0の行(入力が操作していない間など)のactionには,followerが保持している目標が入ります.方策は,その間は止まっていることを学びます.LeRobotはvalidの列で行を選びません(欠損の扱い).- 試しに経路だけを確かめるなら,
--policy.device=cpu --steps=200 --batch_size=8で数分です.networkにつながらないときは,--policy.pretrained_backbone_weights=nullでbackboneの重みを取りに行きません(学習の質は落ちます). - GPUで学習する前に,
labstatusでGPUの空きを確かめてください. - 学習の前にdatasetを検査し,悪いepisodeを除く方法は 検査と学習 にあります.