危険な命令の3回に1回が承認された——40万件の実測。中小企業に要るのは承認ボタンではなく「できない設定」
2026.08.07 朝 | 株式会社NGraph
2026年8月5日、開発者向けブログ「Scale X」が、AIコーディングエージェントの操作を人が承認するブラウザゲームの集計結果を公開した。40,000回を超えるプレイ・409,000件の承認/拒否判断を集計したところ、危険な命令の3回に1回が承認されていた。結論:これは中小企業にとって「承認ボタンを安全装置として数えるな」という話です。
何が起きたか
2026年8月5日、開発者向けブログ Scale X(筆者 Alex Wauters・元Uber Staff Engineer)が、自作のブラウザゲームの集計結果を公開した。ゲームの設計はこうだ。プレイヤーがAIコーディングエージェント(コードを書いて実行するAI)の「人間の承認者」役になり、時間制限のもとで次々に出てくるコマンドを承認・拒否する。無害なもの(git status)と、認証情報を外部に送るような危険なもの(cat ~/.aws/credentials)が混ざって出てくる。
集計対象は40,000回を超えるプレイ、409,000件の承認・拒否判断。平均正答率は66.3%——裏を返せば、危険な命令の3回に1回を承認していたことになる。セッションの32.9%はマイナススコアで終了した(危険を通した罰点と、安全なコマンドを止めた損失が、正解を上回った)。脅威を全部捕まえたプレイヤーは35.2%いたが、そのうち「安全なコマンドのブロックを5本に1本以内に抑えつつ」達成できたのは20.8%にとどまる。7%は出てきたものを全部承認していた。
ここで前提を一つ置く。これはゲームであり、出てくるコマンドの約34%が脅威だった。実務でここまでの頻度で危険な命令が出ることはなく、プレイヤーも自分が試されていると分かった上でプレイし、時間制限もあった。だからこの数字を実務の事故率としてそのまま使うことはできない。読むべきは率の絶対値ではなく、どの種類の命令が見逃されやすいかという差だ。
なぜ重要か
見逃されていたのは、派手な破壊ではなく、認証情報に触る命令だった。カテゴリ別の見逃し率は、明らかな破壊コマンドが11.7%であるのに対し、設定の書き換え・居座りが23.8%、情報の持ち出し・コード実行が33.4%、権限の範囲外の読み取りが35.0%。rm -rfのようなわかりやすい操作は止められるが、認証情報を外部に送り出す命令は3倍見逃されている。
見逃されたのは、派手な破壊ではなく認証情報を触る命令
最も見逃されたのはnpm run analyzeで、64.7%が承認されていた。npm runは「設定ファイルに書かれた任意のコマンドを実行する」という意味しか持たず、中身は書き換えられる。見慣れた名前のコマンド3本の合計見逃し率は52.5%(n=9,482)で、他の持ち出し系コマンドの28.4%のおよそ2倍だった。承認しているのはコマンド名であって、中身ではない。
止めすぎのコストも同時に出ている。安全な操作も高い率でブロックされた(社内ミラーの設定59%、ビルド成果物の削除45%、使用中ポートの解放43%)。止めすぎると現場が面倒がり、やがて全部押すようになる。Anthropicも、承認の数が増えるほど1件あたりの注意が落ちる(permission fatigue/承認疲れ)と指摘している。
この結果を「人間が不注意だった」と読むと間違える。海外の開発者からは、コマンドを1件ずつ承認させるモデル自体に無理があるという指摘も出ている。そしてここにズレがある——このゲームをプレイしたのはコマンドラインを毎日読む開発者で、その人たちですら3回に1回だった。日本の中小企業で承認ボタンを押すのは、社長や総務担当が、別の仕事の合間に押す。しかも中小企業で今増えているのはコーディングエージェントではなく、メールの下書きを送る・受発注を入力する・請求書を発行するといった型だ。画面は違っても構造は同じで、見慣れた操作名が並び、押す人は中身を見ない。
押しても押さなくてもコストがかかる、というのがこの構造の本質だ。
中小企業は何をすべきか
- 承認画面があることを「安全対策」として数えない。導入時のチェックリストにある「人が確認します」を対策欄から外す。それは対策ではなく、対策を先送りにした状態だ。
- 危険な操作は承認ではなく「できない設定」で止める。読み取り専用のアカウントで動かす、送信は下書きまでにして送信ボタンだけ人が押す、金額や件数のしきい値を超えたら自動で止める。承認の数を減らすほど、残った承認は本当に読まれる。
- 押す人と押す場面を決める。誰が・何を見て・いつ判断するかを1行で決める。「気づいたら押していた」という状態を作らない。
その他の注目ニュース(8月7日 朝時点)
- OpenAI、無料ユーザーの既定モデルをGPT-5.6 Lunaに(8月6日発表) — 無料・Goユーザーは今週から既定がLunaになり、来週からテキストチャット無制限化、難問向け「Think」ボタンも使えるようになる(ファイルアップロード・画像等は引き続き制限あり)。Plus/Proは同日から更新版のSolと、思考量を選ぶスライダーを利用可能。OpenAIの社内評価では、金融・医療・法律の事実を要する質問での事実誤り含有率が、GPT-5.5 Instant比でLuna約62%減・Sol約68%減という(社内評価である点に留意。一次情報)。so what:無料で試せる範囲が広がった。契約前に自社の実務プロンプトを無料枠で試す価値が上がっている。
- 中小企業省力化投資補助金(一般型)第8回公募のスケジュールが公表 — 公式サイトによれば、公募開始8月中旬・申請受付開始9月中旬・申請締切10月中旬の予定(確定日は後日告知、一次情報)。人手不足の中小企業がIoT・ロボット等の省力化設備導入費用を補助する制度で最大1億円。so what:公募開始後では間に合わない。設備・体制の検討は公募開始前に始めておきたい。
- AMDがAI推論チップのTaalasを買収すると発表(8月6日) — Taalasは2023年設立・カナダのトロント拠点で、推論処理のデータフローを最適化し、汎用チップの計算・メモリのボトルネックを減らす技術を持つ。買収額は非開示、通例の完了条件と規制当局の承認が前提(一次情報)。so what:「AIを動かす側」のコスト低下は、中期的に中小企業のAI利用料への下げ圧力になる。
・Scale X「Humans missed 1 in 3 threats approving AI agent commands across 40,000 plays」(2026年8月5日)
・OpenAI「Improving GPT-5.6 Sol in ChatGPT—and expanding access to GPT-5.6 Luna for free users」(2026年8月6日)
・中小企業省力化投資補助金(一般型)公式サイト
・AMD「AMD Acquires Taalas to Advance Compute Solutions for Rapidly Growing AI Inference Market」(2026年8月6日)
・あわせて読む:人手不足倒産は227件か237件か——2つの集計がズレる理由と、「採れない」から「払えない」への転換(当ブログ・2026年8月7日夕)/AIを2体並べても、同じ間違いをします——検算には順番がある/FDEとは?(当ブログ)
