AI画面操作は9割試験でも本番14%止まり!自律エージェントが業務で詰む構造と3つの防波堤
YouTubeポッドキャスト本編(動画・音声)はこちら:AI画面操作は9割試験でも本番14%止まり!自律エージェントが業務で詰む構造と3つの防波堤
https://www.youtube.com/watch?v=SQavIwFtCj8
動画・音声本編はこちら:AI画面操作は9割試験でも本番14%止まり!自律エージェントが業務で詰む構造と3つの防波堤
内部APIやソースコードに頼らず、人間と同じ画面の見た目(スクリーンショットやカメラ映像)とマウス・キーボード操作だけで動く自律VLA(Vision-Language-Action)やCUA(Computer-Using Agents)が、ゲームからソフトウェアQA、3D CAD、ヒューマノイド・医療ロボティクスまで急速に広がっています。
ところが業界調査の一次資料を確認すると、企業におけるAIエージェントや生成AI QAの導入・試験率は 79〜89% に達する一方、全社規模での本番展開はわずか 14〜15% にとどまっています(Zylos Research:2026年1月/Capgemini World Quality Report 2025:2025年11月)。本記事では、miHoYoの「Gamer」をはじめとする2025〜2026年の主要論文と業界調査を照合し、デモでは器用に動く画面操作AIが実務の本番で詰む構造と、導入前に確認すべき3つの防波堤を整理します。

1. 試験導入89%と全社本番14〜15%を分ける3つの壁
Zylos Research(2026年1月)およびCapgemini(2025年11月13日発表)の数値が示す通り、検証段階と本番定着の間には明確な断絶があります。
| 調査元(公開時期) | 対象領域 | 導入・試験の割合 | 全社規模の本番展開 | 実務者が挙げた主な壁 |
|---|---|---|---|---|
| Capgemini World Quality Report 2025(2025年11月) | 品質工学・生成AI QA | 89%(試験52%・一部本番37%) | 15% | AI/ML専門知識不足、局所導入による分断 |
| Zylos Research(2026年1月) | GUI/PC操作AIエージェント | 79%(導入・試行組織) | 14% | セキュリティ 62%、信頼性 32%、完全自律への信頼 27% |
短いベンチマークや限定デモでは人間並みの操作に見えるものの、実務では長期タスクにおける誤差の積み重ね、非決定的な振る舞いによるデバッグの難しさ、そしてOSや画面権限をそのまま渡すことによるセキュリティ懸念(実務者の 62% が最大課題と回答)が本番承認を止めています。

2. 画面だけで動く自律VLAと65.12msの低遅延化
ゲーム・汎用PC・ロボットの各分野で「画面映像のみ+人間と同じ操作」の基盤技術が急速に伸びている点も事実です。
- miHoYo「Gamer」(arXiv:2611.18397、2026年11月13日公開): Qwen3-VL-8BおよびQwen3.5-35B-A3Bを基盤とし、数万時間規模の操作データで継続事前学習(CPT)を行った後、約120万件の思考データと約22.3万件の記憶データでSFT、さらに時間軸を考慮した強化学習(TA-GRPO)を実施しました。『崩壊:スターレイル』のパズル7種(40タスク)で平均成功率 49.7%(比較ベースラインGPT-6.1-Solは 17.1%)、探索課題で 15/16 成功を達成し、推論基盤「Streaming-vLLM」によりNVIDIA H200上の遅延を 1,306.00 ms から 65.12 ms(92.16 Hz)へ短縮しました。
- Qwen-CUA(arXiv:2608.02352、2026年8月): 397B-A17B構成のMoE基盤を用い、DOMやAPIを一切使わず直近20枚のスクリーンショットとマウス・キーボードのみで動作し、約 10万vCPU 規模の並列クラウド環境・約4万件の検証可能タスクで大規模強化学習を回しました。

3. 人間の真似で性能が落ちる「負の転移」と長期操作の壁
しかし「人間の操作ログを大量に真似させれば現場で使える」という直感は、2025〜2026年の研究で数値により否定されています。
- ProCUA-SFT(arXiv:2606.17321、2026年6月): 公開最大級の人間操作データ「AgentNet(22.5K軌跡)」を使ってUI-TARS 7BにそのままSFTを行うと、OSWorldの成功率が 26.3%から8〜10%へ急落 する「負の転移」が発生しました。人間の迷いや冗長な動きがノイズになるためです。一方、2,484種のアプリ組み合わせから自動生成・検証した9.3万本の合成軌跡(310万ステップ)を学習すると 45.0%(+18.7ポイント)へ上昇しました。
- OS-Helixの段階別検証(arXiv:2610.22234、2026年10月): OSWorld-Verified上において、基盤モデル(46.50%)へRLだけを載せても 48.20%(+1.70pt)にとどまる一方、良質なSFTを先に入れると 62.75% へ伸び、その後のRLで 66.44% に達しました。
- VideoCAD(arXiv:2505.24838、2025年5月): 3D CADソフトOnshapeの操作動画 41,005本 を構築した研究では、系列長が186アクションに達するサンプルを含み、次点のWeb操作データセット(WebLINX)の 4倍超 の時間軸長を要し、長期空間推論での誤差蓄積が依然として難題であることが示されています。

4. 思考と反射を分ける二層制御と実務導入の現実線
物理世界のロボティクスでも、同様の構造課題に対して「思考(System 2)」と「反射制御(System 1)」を切り離すアーキテクチャへの収斂が進んでいます。
- Figure AI「Helix」(公式発表): 場面理解と言語指示を 7〜9 Hz で処理するSystem 2と、連続動作を 200 Hz で制御するSystem 1を分離し、未知の物体を2台のロボットが協調して片付ける長期タスクを実演しました。
- Robo-MLT(arXiv:2611.13039、2026年11月): 医療検査ラボの手順に対し、プロトコルの現在位置を追う状態監視と動作生成を分離し、人間の介入後も手順を組み替えて復旧する設計を示しました。ただし論文自身が「現在の検証は 2種類の検査手順・単一作業空間・1種類の外的介入 に限られ、本番の医療検査室には導入されていない」と明確に線引きしています。

5. 画面操作単体からAPI・MCP併用へのハイブリッド回帰
現場が純粋な画面操作オンリーから距離を置く理由は、構造化連携と組み合わせた際の圧倒的な精度差にあります。
- OS-Helix(WindowsAgentArena): GUI操作のみの基盤モデル(40.82%)に対し、GUI操作とコード実行(Bash)を統合したハイブリッド基盤は 56.41%、さらに統合学習を行ったOS-Helix-27B-RLは 63.87% へ達し、画面単体比で +23.05ポイント 向上しました。
- 開発・QA現場の実装: シリーズAで 1,500万ドル を調達した自動テストのMomentic(公式ブログ)は、1,396件 のラベル付きバグで検証しながら、画面操作でバグを再現するだけでなくMCPサーバー経由でコーディングエージェントと連携しています。MCP自体も月間SDKダウンロード 9,700万回超 規模へ拡大しています(Zylos Research MCP解説)。

6. 62%が恐れるセキュリティ境界と導入前3つの防波堤
従来型のIAM(認証・認可基盤)は「誰がログインしたか」を管理しますが、非決定的に動く自律エージェントが「今その画面上で何の目的で削除や送信ボタンをクリックしようとしているか」までは制御できません。これが実務者の 62% がセキュリティを最大課題に挙げ、完全自律エージェントへの信頼が 27% にとどまる根本要因です。

導入・検証を担当するチームが「14〜15%の本番壁」を越えるためには、次の3つの防波堤を先に設計する必要があります。
- ハイブリッド境界の切り分け: API・CLI・MCPで決定論的に処理できる工程をコード側へ逃がし、画面操作は内部仕様がないレガシーUIや視覚検証のみに限定する(+23.05ptの安定性向上と保守コスト削減)。
- 学習データ質と長期復旧力の検証: ベンダーの単発ベンチマーク値ではなく、負の転移(26.3%→8〜10%)を避けた軌道品質と、長期手順(数十〜数百ステップ)での状態追跡・例外復旧能力を自社業務条件で計測する。
- 隔離環境・最小権限・人間承認ゲート: OSレベルの操作権を与える前に、サンドボックス隔離、最小権限アカウント、そして外部送信・課金・削除など不可逆操作直前の人間承認ゲートを必須化する。

一次資料・出典リンク
- Zylos Research (2026年1月9日)
- Capgemini WQR 2025 (2025年11月13日)
- miHoYo Gamer論文 (arXiv:2611.18397)
- miHoYo Gamerプロジェクトページ
- Qwen-CUA論文 (arXiv:2608.02352)
- ProCUA-SFT論文 (arXiv:2606.17321)
- OS-Helix論文 (arXiv:2610.22234)
- VideoCAD論文 (arXiv:2505.24838)
- Figure AI Helix公式発表
- Robo-MLT論文 (arXiv:2611.13039)
- Momentic公式ブログ
- Zylos Research MCP解説