NGraph
ブログ一覧 無料相談
Morning News

危険な命令の3回に1回が承認された——40万件の実測。中小企業に要るのは承認ボタンではなく「できない設定」

2026.08.07 朝 | 株式会社NGraph 危険な命令の3回に1回が承認された——40万件の実測。中小企業に要るのは承認ボタンではなく「できない設定」

2026年8月5日、開発者向けブログ「Scale X」が、AIコーディングエージェントの操作を人が承認するブラウザゲームの集計結果を公開した。40,000回を超えるプレイ・409,000件の承認/拒否判断を集計したところ、危険な命令の3回に1回が承認されていた。結論:これは中小企業にとって「承認ボタンを安全装置として数えるな」という話です。

何が起きたか

2026年8月5日、開発者向けブログ Scale X(筆者 Alex Wauters・元Uber Staff Engineer)が、自作のブラウザゲームの集計結果を公開した。ゲームの設計はこうだ。プレイヤーがAIコーディングエージェント(コードを書いて実行するAI)の「人間の承認者」役になり、時間制限のもとで次々に出てくるコマンドを承認・拒否する。無害なもの(git status)と、認証情報を外部に送るような危険なもの(cat ~/.aws/credentials)が混ざって出てくる。

集計対象は40,000回を超えるプレイ、409,000件の承認・拒否判断。平均正答率は66.3%——裏を返せば、危険な命令の3回に1回を承認していたことになる。セッションの32.9%はマイナススコアで終了した(危険を通した罰点と、安全なコマンドを止めた損失が、正解を上回った)。脅威を全部捕まえたプレイヤーは35.2%いたが、そのうち「安全なコマンドのブロックを5本に1本以内に抑えつつ」達成できたのは20.8%にとどまる。7%は出てきたものを全部承認していた。

ここで前提を一つ置く。これはゲームであり、出てくるコマンドの約34%が脅威だった。実務でここまでの頻度で危険な命令が出ることはなく、プレイヤーも自分が試されていると分かった上でプレイし、時間制限もあった。だからこの数字を実務の事故率としてそのまま使うことはできない。読むべきは率の絶対値ではなく、どの種類の命令が見逃されやすいかという差だ。

なぜ重要か

見逃されていたのは、派手な破壊ではなく、認証情報に触る命令だった。カテゴリ別の見逃し率は、明らかな破壊コマンドが11.7%であるのに対し、設定の書き換え・居座りが23.8%、情報の持ち出し・コード実行が33.4%、権限の範囲外の読み取りが35.0%。rm -rfのようなわかりやすい操作は止められるが、認証情報を外部に送り出す命令は3倍見逃されている。

見逃されたのは、派手な破壊ではなく認証情報を触る命令

AIエージェントの承認判断・脅威カテゴリ別の見逃し率(%)権限の範囲外の読み取り35.0%情報の持ち出し・コード実行33.4%設定の書き換え・居座り23.8%明らかな破壊コマンド11.7%rm -rf は止められる。認証情報を送り出す命令は3回に1回通る出所:Scale X「Humans missed 1 in 3 threats approving AI agent commands across 40,000 plays」(2026年8月5日)

最も見逃されたのはnpm run analyzeで、64.7%が承認されていた。npm runは「設定ファイルに書かれた任意のコマンドを実行する」という意味しか持たず、中身は書き換えられる。見慣れた名前のコマンド3本の合計見逃し率は52.5%(n=9,482)で、他の持ち出し系コマンドの28.4%のおよそ2倍だった。承認しているのはコマンド名であって、中身ではない。

止めすぎのコストも同時に出ている。安全な操作も高い率でブロックされた(社内ミラーの設定59%、ビルド成果物の削除45%、使用中ポートの解放43%)。止めすぎると現場が面倒がり、やがて全部押すようになる。Anthropicも、承認の数が増えるほど1件あたりの注意が落ちる(permission fatigue/承認疲れ)と指摘している。

この結果を「人間が不注意だった」と読むと間違える。海外の開発者からは、コマンドを1件ずつ承認させるモデル自体に無理があるという指摘も出ている。そしてここにズレがある——このゲームをプレイしたのはコマンドラインを毎日読む開発者で、その人たちですら3回に1回だった。日本の中小企業で承認ボタンを押すのは、社長や総務担当が、別の仕事の合間に押す。しかも中小企業で今増えているのはコーディングエージェントではなく、メールの下書きを送る・受発注を入力する・請求書を発行するといった型だ。画面は違っても構造は同じで、見慣れた操作名が並び、押す人は中身を見ない。

押しても押さなくてもコストがかかる、というのがこの構造の本質だ。

中小企業は何をすべきか

NGraphの視点:自社の見積・請求のAIワークフローは、AIが作るのは下書きまでで、送信は人が押す形にしている。理由は精度への不安ではなく、押す場面を1日に数回まで減らすためだ。判断が並ぶほど、1件あたりの判断は雑になる。この分野の導入相談は FDE型AI導入支援(無料相談・無料AI診断) からどうぞ。

その他の注目ニュース(8月7日 朝時点)

参考(一次情報):
・Scale X「Humans missed 1 in 3 threats approving AI agent commands across 40,000 plays」(2026年8月5日)
・OpenAI「Improving GPT-5.6 Sol in ChatGPT—and expanding access to GPT-5.6 Luna for free users」(2026年8月6日)
・中小企業省力化投資補助金(一般型)公式サイト
・AMD「AMD Acquires Taalas to Advance Compute Solutions for Rapidly Growing AI Inference Market」(2026年8月6日)
・あわせて読む:人手不足倒産は227件か237件か——2つの集計がズレる理由と、「採れない」から「払えない」への転換(当ブログ・2026年8月7日夕)/AIを2体並べても、同じ間違いをします——検算には順番があるFDEとは?(当ブログ)
← ブログ一覧に戻る
無料で相談する →