学習させたのに掴まない — VLA の失敗の型と、切り分けの順序

学習が終わった。方策を読み込ませ、腕に指示を出す。腕は動く。そして、掴まない。

物の手前で止まる。掴んだのに落とす。同じ動作を延々と繰り返す。あるいは、まったく違う場所へ向かう。動くのに正しくないというのは、動かないより厄介な状態だ。どこを直せばよいのか分からないからである。

本記事は、この状態からの抜け方を扱う。当サイトは実機を持っておらず、以下の切り分け順序は当サイトの設計判断である。ただし、その材料になる事実には出典がある。特に、失敗を分類して数えた研究が公開されているので、そこを軸に置く。確認は2026年9月2日時点のものである。

まず、疑う順番を決める

原因の候補は多い。データが悪い、学習が足りない、カメラの位置が違う、キャリブレーションがずれている、サーボが渋い。思いついた順に潰していくと、時間だけが溶ける。

上流から順に潰すのが原則になる。下流（方策）から疑うと、上流（機体）の問題を方策のせいにしてしまう。順序はこうだ。

1. 機体は記録どおりに動くか
2. 座標は合っているか
3. データは学習に足るか
4. 学習の設定は正しいか
5. 方策はこのタスクに向いているか

この順に確かめれば、少なくとも「原因が分からないまま学習をやり直す」という最悪の徒労は避けられる。

機体を疑う — 記録を再生してみる

最初にやるのは、方策を使わないことだ。

記録したエピソードをそのまま腕に流し込む再生機能がある。人が実演した軌跡を、そのまま関節に与える。ここで同じ動きが再現しなければ、問題は方策ではなく機械側にある。

再現しない場合の容疑者は限られる。土台が滑っている。サーボのどれかが渋い、あるいはガタがある。ケーブルが引っかかって特定の姿勢で抵抗が出る。対象物の置き場所が記録時とずれている。どれも学習とは無関係で、どれだけ学習し直しても直らない。

この一手を最初に置く価値は大きい。学習を回すには数時間かかるが、再生は数分で終わる。いちばん安い検査を最初にやるという順序は、機械の故障診断でも同じである。

配線まわりの確認手順は公式にも列挙されている。電源、パソコンと基板をつなぐケーブル、基板とサーボをつなぐ3ピンのケーブルの3点。基板の種類によってはジャンパの設定も効く。地味だが、ここで詰まっている事例は多いはずだ。

逆に、再生が正しく再現するなら、機体とデータは少なくとも機械的には健全である。そこで初めて次に進める。

座標を疑う

再生が通っても、方策を動かすと変な場所へ行く。この場合はキャリブレーションを疑う。

公式は、キャリブレーションの目的を「ある機体で学習したニューラルネットワークを別の機体でも動かせるようにするため」と説明している。裏を返せば、ここが狂っていると、方策が出す角度の意味が変わる。

見落としやすいのが名前の管理だ。ロボットに付ける名前がキャリブレーション結果の保存先になっており、記録・学習・実行で同じ名前を使うよう公式が明記している。名前を変えると別の機体として扱われるが、エラーにはならず、新しくキャリブレーションが始まるだけである。気づかないまま進むと、原因の分からないずれとして表面化する。

サーボを交換した、部品を刷り直した、分解して組み直した。そうした変更のあとは、やり直すのが安全だ。

データを疑う

機体も座標も問題ない。それでも掴まない。ここでデータを見る。

公式が挙げている原則は二つある。カメラを固定することと、掴み方を一貫させること。そして、変化を一度に増やしすぎないこと。逆に言えば、これらが崩れているとデータが原因になりうる。

• 記録中にカメラの位置が動いた（三脚を蹴った、机がたわんだ）
• 昼と夜で照明が変わった
• 対象物の置き場所を目分量で戻していた
• 途中から掴み方を変えた
• 疲れて後半の実演が雑になった

量そのものが不足している可能性もある。小型モデルの開発元は、25エピソードでは足りず性能が悪かったと自ら記録しており、推奨は最低50エピソード、1つの配置につき10エピソードである。50本に届いていないなら、まず本数を疑う。

判断に使える基準として公式が置いているのが、カメラ画像だけを見て自分がその作業をできるかという問いだ。自分の記録した映像を見返して答えがノーなら、モデルにできるはずがない。

指示の文が食い違っていないか

データを見直す前に、一分で確かめられることがある。記録したときの作業の説明文と、実行時に渡している文が同じかである。

記録時には、その作業を説明する短い一文を指定する。そして学習済みの方策を動かすときにも、同じ形式で作業の説明を渡す。公式のコマンド例には「データセットの記録時に使ったのと同じ作業の説明を使うこと」という注意が添えられている。

言葉が条件になっている以上、文が違えばモデルに与えている状況が違う。「黒いキューブを掴む」で記録したのに「ブロックを箱に入れる」で実行すれば、モデルは別の指示として受け取る。

この種の食い違いはエラーを出さない。腕は動くし、それらしい軌跡も描く。ただ、うまくいかない。設定の写し間違いが静かに性能を下げる典型なので、原因探しの早い段階で消しておきたい。

学習時と実行時で、部屋が変わっていないか

もうひとつ、早い段階で潰せる容疑者がある。記録した日と、動かしている日で環境が変わっていないかだ。

具体的には、照明、背景、カメラの位置と角度、対象物の置き場所である。人間の目にはどれも些細な違いに見える。夕方に録って夜に動かした、机の端に工具箱を置いた、三脚を少し寄せた。しかしモデルにとっては入力画像そのものが変わっている。

公式が「カメラを固定すること」を繰り返し強調しているのは、記録中だけの話ではない。実行時も同じ配置でなければ、学習した条件から外れる。前掲の分類でいう状態の取り違えは、この種の環境差で起きやすい。

対処は単純で、記録時の配置を写真に撮っておくことだ。三脚の脚の位置に印を付ける、対象物の受けを机に固定する。再現できる環境を作っておけば、疑う候補がひとつ減る。

学習の設定を疑う

データも足りている。次は学習側である。ここには設定を間違えていても静かに悪い結果になる種類の落とし穴がある。

ひとつは学習率の減衰である。公式は、学習を短く切り上げるなら減衰のステップ数も併せて短くするよう注意している。そうしないと学習率が高いまま推移し、最後まで下がりきらない。エラーは出ないが、性能は出ない。

もうひとつはデータの読み込みが律速になっている状態だ。学習ログには読み込み時間と更新時間が別々に出る。読み込み時間が更新時間に近づいたら、計算資源を足しても改善しないと公式は書いている。見るべきはワーカー数、画像の解像度、ディスクの速度である。

エポック数の見方も確認しておきたい。公式は、模倣学習は5〜10エポックで収束することが多いとしている。ステップ数の絶対値ではなく、データを何周したかで判断する。

方策を疑う — タスクによって桁が違う

ここまで潰して、それでも掴まない。方策そのものがそのタスクに向いていない可能性がある。

低コストな腕の上で四つの方策を比較した研究がある。査読前のプレプリント（2026年6月投稿）である点に注意して読む必要があるが、内容は具体的だ。著者らは4つのタスクそれぞれについて各方策を20回ずつ実機で試し、合計320エピソードを評価した。

報告されている平均成功率は次のとおりである。

まず受け取るべきは、最良でも二回に一回強しか成功していないという事実だ。VLA を載せれば作業が自動化される、という段階ではない。

そして重要なのはタスク差である。同じ研究で、色で選り分ける課題の成功率は ACT と Wall-X が0%、最も良い π0.5 でも10%と報告されている。一方でペンを移す課題では π0.5 と Wall-X が95%に達している。

同じ方策が、タスクによって0%にも95%にもなる。この幅の前では、平均値の比較にほとんど意味がない。うまくいかないとき、方策を替えれば解決するとは限らないということでもある。

タスクの中身を見ると、傾向が読める。うまくいっている課題は、掴む対象と置く場所が決まっていて、判断が要らない。逆に苦戦している課題は、見たものによって行き先を変える必要がある。色で選り分けるというのは、掴む動作そのものは同じでも、対象を見て置き場所を選ばなければならない。

ここから実務的な指針が引ける。自分の腕で最初に取り組む作業は、判断を含まないものにする。決まった場所から決まった場所へ移す。それができてから、条件によって行き先が変わる作業に進む。難易度は動きの複雑さではなく、判断の有無で決まると考えたほうが実態に近い。

著者らも、事前学習された VLA が単純な模倣学習の方策を概ね上回る一方で、低コストな環境では結果がタスクに強く依存すると述べている。大きなモデルを持ってくれば解ける、という関係にはなっていない。

研究が整理した四つの失敗の型

同じ研究は、失敗を四つに分類している。原文の名称は Grasp Instability、Repetition Loop、State Mismatch、Precision Misalignment である。日本語にすると、掴みの不安定、同じ動作の繰り返し、状態の取り違え、精度のずれ、といったところだ。

この分類が役に立つのは、症状から原因の方向が絞れるからである。

著者らは、全体として実行の不安定さが支配的な失敗源であり、失敗から回復する能力はアーキテクチャによって大きく異なると報告している。

成功か失敗かだけを見ない

この研究のもうひとつの示唆は、評価のしかたにある。著者らは回復を考慮に入れた指標を導入し、成功と失敗の二値だけでは分からないことがあると主張している。

実際に腕を眺めていると納得がいく。一度掴み損ねてから掴み直して成功する方策と、掴み損ねたまま延々と同じ動作を繰り返す方策では、同じ「失敗」でも意味がまったく違う。前者はあと一歩で、後者は根本的に詰まっている。

自分の腕を評価するときも、回数だけでなく失敗の様子を記録しておくと、次に何を直すべきかが見えやすい。ノートに正の字を書くだけでは足りない。

回復という観点は、実用面でも意味を持つ。無人で長く動かしたい作業なら、一度の失敗から立ち直れるかどうかが稼働率を決める。掴み直せる方策なら人が見ていなくてもよいが、詰まったまま同じ動作を繰り返す方策は、誰かが気づいて止めるまで無駄に動き続ける。成功率が同じでも、運用の手間はまったく違う。

この観点を持つと、切り分けの目的も変わってくる。「成功率を上げる」だけでなく、「失敗したときに何が起きるかを予測できる状態にする」ことが目標になる。予測できる失敗は、機構や治具で受け止められる。

一回の観察で判断しない

切り分けのたびに1回だけ試して結論を出すと、判断を誤る。成功率が三割から五割という世界では、たまたま成功した1回もたまたま失敗した1回も、何の証拠にもならないからだ。

かといって、前掲の研究のように条件ごとに20回試すのは個人には重い。1回2分としても、条件を5つ比べれば200分になる。現実的な妥協点として、次のような進め方が考えられる。

• 1条件につき最低5回は試す。1回で判断しない
• 毎回、物を同じ位置に戻す。受けを作っておくと速い
• 成否だけでなく失敗の型を記録する。落としたのか、繰り返したのか、ずれたのか
• 変更は一度にひとつだけ。二つ変えると原因が特定できない

最後の項目が最も守られにくい。うまくいかないと焦って、データも設定もカメラ位置も同時に変えたくなる。そうすると、仮に改善しても何が効いたのか分からないまま次に進むことになる。

印刷物であることに由来する失敗

ここからは当サイトの推論である。SO-101 に固有の失敗として報告された事例は見つけられなかったので、一般論からの演繹として読んでほしい。

構造部品が印刷物である以上、金属加工品にはない挙動が入る。

• たわみ: 樹脂は金属より曲がる。腕を伸ばした姿勢で先端が下がれば、指令どおりの角度でも先端の位置がずれる
• クリープ: 樹脂は継続的な力で少しずつ変形が残る。組んだ直後と数十時間後で寸法が違いうる
• 座面のへたり: ネジで締めた印刷部品は、振動と熱で締結面が少しずつ潰れる

これらはいずれも、上の分類でいえば精度のずれとして表面化する。そして厄介なのは、時間とともに悪化することだ。学習した直後は動いていたのに、一週間後に精度が落ちる。原因を方策に求めても見つからない。

対処としては、ネジの増し締めを点検項目に入れること、精度が落ちたら再度キャリブレーションを行うこと、そして繰り返し力のかかる部品は素材や積層方向を見直すことになる。樹脂部品の強度と変形については3Dプリント 強度 設計実践 2026 — 形状・壁数・アニーリングで「割れない部品」を作る（2026-07-24 公開）で整理した考え方が使える。

サーボのガタをどう見るか

もうひとつ機械側の要素として、サーボの歯車間の遊びがある。指令を出してから実際に軸が動き出すまでのわずかな空走で、方向を変えるたびに現れる。

実測値は確認していないので数値は書かない。ただし性質として、同じ方向に動き続ける動作では目立たず、細かく往復する動作で効く。前掲の分類でいう精度のずれのうち、キャリブレーションを直しても消えない残りが、この種の機械的な遊びである可能性がある。

ここまで来たら、機械の限界を認めて作業のほうを変えるのも正当な選択だ。掴む対象を大きくする、置き場所を固定する受けを作る、精度を要する工程を避ける。方策で解けない問題を、治具で解くのは負けではない。産業用の自動化でも、精度を機械に求めず治具に持たせるのは常套手段である。

まとめ — 切り分けの持ち物リスト

VLA が思ったとおりに動かないとき、順に確かめる。

1. 記録を再生する。再現しなければ機械側の問題
2. キャリブレーションと名前。変更のあとはやり直す
3. データの一貫性と本数。50本、1配置10本。25本では足りなかったという記録がある
4. 学習率の減衰とデータ読み込み。エラーなく静かに失敗する場所
5. タスクを疑う。同じ方策が0%にも95%にもなる
6. 時間とともに悪化するなら機械側。たわみ、クリープ、緩み

学習の見積りは手元のGPUで方策を学習させる — SmolVLA の微調整に何が要るのかを見積もる（2026-09-10 公開）に、記録の作法はロボットに教えるのは、まず自分の手で — テレオペで模倣学習のデータを取る（2026-09-09 公開）にまとめてある。

そして、実機で失敗を繰り返すのは高くつく。壊す前に、計算機の中で失敗させられないか。次はその話になる。

出典・参考

• arXiv「Benchmarking Vision-Language-Action Models on SO-101: Failure and Recovery Analysis」（2026年6月・査読前）
• Hugging Face「Imitation Learning on Real-World Robots」
• Hugging Face「Compute HW Guide for LeRobot Training」
• The Robot Studio「SO-ARM100 リポジトリ」

ブラウザだけでできる本格的なAI画像生成【ConoHa AI Canvas】

swiftwand

X

AIを使って、毎日の生活をもっと快適にするアイデアや将来像を発信しています。 初心者にもわかりやすく、すぐに取り入れられる実践的な情報をお届けします。 Sharing ideas and visions for a better daily life with AI. Practical tips that anyone can start using right away.