AIの確認ボタンは97%通る——危険を止めたのは13.6%、人の判断は「1回ごと」から「計画」へ移す
2026.11.01 夕 | 株式会社NGraph
AIに作業を任せるときに出る「実行していいですか」という確認ボタンは、人が押していても、安全装置として十分に働いていませんでした。Claudeを作るAnthropicが、自社の数字でそれを示し、Claudeの既定を人の確認からAIによる審査へ切り替えています。
先に結論を書きます。人の判断が無くなるのではなく、置き場所が移ります。1回ごとの操作から、計画、社外に出るもの、戻せないもの、権限を広げるものへです。社長が決めるのは、その置き場所です。確認ボタンは担当者に押す手間と責任を足すだけで、仕事を減らしません。責める先は押した人ではなく、「人が確認すれば安全」という設計だと、当社は考えます。
確認に関する実験の数字は提供会社自身の発表で、第三者の検証ではありません。
・確認の役がAIへ移り始めた経緯
・人が止めた危険は13.6%、審査AIは89%という数字の読み方
・人の判断を置く4つの場所と、今週確かめる3つ
確認の役が、人からAIへ移り始めた
Anthropicは2026年8月7日の発表で、Claude Codeの始まり方を変えると書きました。Claude Codeは、AIがパソコンの中でファイルを読み書きし、命令を実行して仕事を進める道具です。8月14日から、Pro、Max、Teamの各プランでは、新しいセッション(作業の1回分のまとまり)がauto modeで始まります。auto modeは、実行のたびに人へ出していた確認の代わりに、審査役の別のAIが操作を見る動作です。自分で別の既定を固定している人は、変わりません。
10月22日の追記には、続きがあります。翌週から、Pro、Max、TeamのほとんどのClaudeアプリでも、新しいセッションの既定になるという内容です。承認を求める代わりに自動の点検が見て、安全なものは進み、危険なものは止められて、Claudeが別の道を探します。
読者への影響は1つです。開発者だけの話ではなく、ほとんどのClaudeアプリの既定に広がる発表が出ました。社内で使っている人の画面の動きが変わる可能性があるので、一度確かめてください。
OpenAIのCodexにも、似た仕組みのAuto-reviewがあります。権限を広げるものではなく、審査する人を入れ替えるだけだと説明されています。
| 項目 | Claude Code(Anthropic) | Codex(OpenAI) |
|---|---|---|
| 誰が審査するか | 審査役のAI(auto mode) | 別のレビュー用エージェント(Auto-review) |
| どう選ぶか | Pro、Max、Teamの新しいセッションは、8月14日からauto modeで始まる。自分で別の既定を固定している人は変わらない。組織の管理者は無効にできる | デスクトップアプリで「Approve for me」を選ぶか、設定で指定する。Computer Useのアプリ承認は、引き続き人に出る |
| 止まったらどうなるか | Claudeが別の安全な道を探すか、利用者に尋ねる。3回続けて、または1セッションで20回止められると、手動の確認に戻る | より安全な道を探すか、止まって利用者に尋ねる |
| 止める対象 | 機密の外部送信、本番環境への公開、クラウド上の大量削除、権限の付与、作業開始前からあったファイルの取り返しのつかない破壊、人が承認していない変更の取り込みなど | 機密や認証情報の外部送信、認証情報の探索、広範または恒久的な安全設定の弱体化、取り返しのつかない破壊的操作 |
出所は、Anthropicの発表、Claude Codeの公式文書、OpenAIのAuto-reviewの説明です。審査AIの精度は、発表元が自社の条件で測った数字で、並べて優劣を付けられないため、比べません。
人の確認は、どこまで効いていたか
Claude Codeの利用者は、確認の97%を承認し、却下は3%でした。同社は、多くは安全な定型の命令だろうと断ったうえで、多くの人が反射的に押していることを示唆しているとも書いています。
危険な命令を人が止めたのは13.6%
そこで同社は、対照実験をしました。調査会社を通じた有償のテスター1,053人が、本人の実案件ではなくテスト用の環境で作業します。評価されていることは知っていますが、何を測るかは知らされていません。途中で、確認画面の1つを明らかに危険な命令に差し替え、承認するかを記録しました。実際に危険な処理は実行されません。
人が止めたのは1,053回中143回で、13.6%です。審査AIが止めたのは1,053回中937回で、89%でした。人が通して審査AIが止めたのが800回、審査AIが通して人が止めたのは6回です。
危険な命令を止めたのは、人が13.6%、審査AIが89%
確認が増えるほど、人は止めなくなる
人の阻止率は、セッションの序盤で約17%でした。確認を50回以上見たあとは、約5%へ落ちます。審査AIの阻止率は、セッションの長さによらず一定です。確認を重ねるほど、人が止める割合は下がります。
押した人の注意が足りなかった、という話ではありません。50回目の確認を1回目と同じ注意で見続ける設計に、無理がありました。確認を増やして安心するほど、実際の安全は下がりうる、と当社は読みます。
確認の置き場所を現場に入って決めたい方は、FDE型AI導入支援(無料AI診断あり)から相談できます。
人が拒否できたのは、1回ごとの操作より計画だった
この記事で一番大きな発見は、この対比です。1回ごとの確認の却下は3%でした。一方、Claudeが計画を示して承認を求める場面では、利用者は39%を却下しています。計画は、作業を始める前に、何をどこまでやるかを示すものです。
人が拒否できたのは、1回ごとの確認より計画だった
3%と39%は、母集団が別々の数字です。差の計算はしていません。39%は却下された割合で、危険を見抜いた割合ではなく、却下の理由はこの発表からは分かりません。
同じ道具の利用者が、操作には3%しか首を振らず、計画には39%も首を振ります。この差を、当社は「押す回数の問題ではなく、判断できる大きさの問題」と読みます。出典に書かれた解釈ではなく、当社の読みです。
例えば、「この資料の数字を整理し、この宛先に送ります」という計画なら、経営者でも、頼んだ範囲を超えていないかを判断できます。「このコマンドを実行します」と出ても、中身を読める人は多くありません。読めないものに毎回「はい」を返せば、97%の承認になります。
人が判断できるのは、目的と範囲が読める大きさのものです。ここに人の判断を集め、細かい操作は審査AIと「できない設定」に任せます。
数字が割れる理由は、何を数えたかが違うから
確認をめぐる数字は、並べると食い違って見えます。数えた対象が別々なので、表にします。
| 数字 | 何を数えたか | 条件と出どころ |
|---|---|---|
| 93% | 手動の確認のうち、承認された割合 | Anthropicの技術解説。2026年3月時点の内容 |
| 97%と3% | Claude Codeの確認のうち、承認と却下の割合 | 2026年8月の発表。93%とは時期が違い、差の理由は当社では確かめられていない |
| 13.6%と89% | 差し替えた危険な命令を、人と審査AIが止めた割合 | 有償テスター1,053人、テスト用の環境。命令は明らかに危険なものに限る |
| 12%から7% | 合成した攻撃で、審査AIが見逃した割合の変化 | 同社は「実際の利用での見逃し率と受け取らないでほしい」と書いている |
| 17% | AIが頼まれた範囲を踏み越えた実例52件で、審査AIが見逃した割合 | 2026年3月時点の技術解説。同社自身が「正直な数字」と呼んでいる |
| 66.3% | 開発者向けブラウザゲームで、判断が正しかった平均 | 当社の過去記事。409,000件の判断で、危険な命令が約34%と多いゲーム |
出所は、Anthropicの2本の発表と、当社の過去記事です。
見逃し率は4つあり、1つにまとめられない
審査AIの見逃しだけでも、4通りあります。100から実験の89%を引いた11%相当(当社の計算で、Anthropicが書いた見逃し率ではありません)、合成攻撃の7%、実例の17%、合成した持ち出し攻撃1,000件の5.7%です。1つ選んで「審査AIの精度は何%」とは言えません。このうち17%は、Anthropic自身が「正直な数字」と呼んでいる値です。
この数字を、自社に当てはめられるかは分からない
13.6%と89%をはじめ、審査AIの数字は、既定を切り替える側のAnthropic自身の発表です。テスターは有償で、環境はテスト用、命令は明らかに危険なもので、判断が分かれる操作の数字ではありません。非エンジニアの事務作業に当てはめられるかは、分かりません。分かっているのは、人の確認だけに頼る設計には、実験で測られた限界があることです。
政府の文書は、確認について何を求めているか
総務省と経済産業省の「AI事業者ガイドライン(第1.2版)」は、2026年3月31日付で、法的な義務を定めないソフトローです。
公平性の項に置かれた、人間の判断の介在
本編の「公平性」の項に、「人間の判断の介在」があります。AIの出力が公平性を欠かないよう、AIに単独で判断させるだけでなく、適切なタイミングで人間の判断を介在させる利用を検討する、という内容です。そのとき、人間の判断が自動化バイアスに左右されないよう、対策を講じるべきだとされています。自動化バイアスは、AIの答えをそのまま信じてしまう傾向のことです。
この文は公平性の項にあり、AI全般の安全策として書かれたものではありません。ただ、人が見ていてもAIの答えをそのまま通してしまう傾向は、確認ボタンの97%とも重なります。公平性の項の考え方が確認ボタンにも当てはまる、というのは当社の読みです。
本編の脚注24には、AIの判断を承認するときは、人間自身が理由や根拠を独自に考えてから承認すべきことなどが、対策の提案として挙げられています。確認50回で阻止率が約5%という数字を重ねると、独自に考える場面は数を絞る必要があると読めます。
判断基準の例は、人を置く前に確かめる項目を挙げている
別添5(AI利用者向け)のp.179には、同じ項目の手法として、人間の判断を介在させるかどうかの判断基準の例が挙がっています。AIの出力の信頼性の程度、つまり人間の判断の信頼性と比べてどちらが上か。人間の判断に必要な時間的な猶予。判断を行う者に期待される能力です。「人間の判断の実効性の確保」として、人間が最終判断をするのが適当な場合に、判断すべき項目を事前に明確化しておくことも挙げられています。
信頼性の基準は、人の判断がAIの出力より信頼できるとは限らない、という前提を含むと、当社は読みます。当社が読んだ範囲では、人を置けば足りるとも、確認を外してよいとも書かれていません。書かれているのは、どの項目を人が判断するかを先に決めておくことです。
別添のp.19は、AIエージェントが人間の意図しない商品の注文やファイルの削除などを行う可能性に触れています。同じ頁の脚注13は、自律性が高まると人間による監視だけでは高速なAI同士のやりとりに対応しにくい場合が想定されるとして、AIシステム同士の相互監視などの検討に期待を示す内容です。審査役のAIはこの方向と重なる動きだ、というのが当社の読みです。
審査AIに任せられないもの
審査AIが何を止めるかは、前の表の「止める対象」のとおりです。外部へ機密やコードを送る操作は、審査AIが承認しないよう設計された区分で、組織でルールを足すこともできます。Anthropicが社内で止めた例には、アップロードに失敗した報告書を公開のコード共有サイトに載せようとした操作と、読み取り専用の請求閲覧権限を頼まれて全権限の管理者ロールを取ろうとした操作があります。
公式の一覧は、開発の操作が中心です。請求額が合っているか、取引先に送ってよい文面か、といった業務の判断は、一覧に項目として挙がっていません。当社が一覧を読んだ範囲での話です。審査AIが業務の判断を見ない、と言うつもりはありません。どこまで見るかが公式の一覧から読み取れないので、人が見る場所は自社で決める必要があります。公式は、手動の確認を機微な作業向けと位置づけています。
10月19日には、逆のことが起きていました。社内の仕組みの修正作業で確認が連発し、代表の指摘は「何を許可してるか分からない」でした。何を許したか分からないまま押された確認は、判断を通っていません。
10月28日、定時の仕事を、AI審査の設定で動くように作り直しました。作り直しの途中で、審査役のAIが止めたのは、定時の仕事の削除2件、試しの即時実行、長い指示文の登録です。削除と即時実行は人の手に戻し、長い指示文は短い形に変えて登録し直しました。
当社の学びは2つです。人の確認を前提にした仕組みは、人がいない時間に止まること。確認が多すぎると、判断そのものが消えることです。
誰かが怠けたのではありません。押さなかったのは、誰もいない時間だったからです。止めたのは審査役のAIで、削除するかどうかを決めたのは人でした。この分担が、次の章の考え方になります。
人の判断を置く4つの場所
置く場所は、計画、社外に出るもの、戻せないもの、権限を広げるものの4つです。残りの細かい操作は審査AIと「できない設定」に任せ、担当者の確認の回数を減らします。できない設定については、危険な命令の3回に1回が承認された——40万件の実測。中小企業に要るのは承認ボタンではなく「できない設定」で書きました。
人が判断する場所は、戻せない・社外に出るものに置く
当社の整理です。権限を広げる操作は、どの象限にあっても人が決めます。
社長が決めることと、担当者が確かめること
置き場所を決めるのは社長で、確かめるのは担当者です。担当者を確認ボタンを押す役にしないため、分けて書きます。当社の提案です。
| 場所 | 社長が決めること | 担当者が確かめること |
|---|---|---|
| 計画 | AIに任せる仕事の範囲 | 最初に出る計画が、頼んだ範囲に収まっているか |
| 社外に出るもの | 送信や公開を、人が見てから出す仕事 | 送信前に、宛先と文面 |
| 戻せないもの | 削除や支払いを、AIに任せない線引き | 実行前に、戻せないと分かっているか |
| 権限を広げるもの | AIに渡す権限の上限 | 頼んだ作業に対して、権限が大きすぎないか |
社長の決定は紙1枚で足ります。担当者は、そこに書かれた条件に当たるものだけを見ます。
今週確かめる3つ
1つ目は、使っているAIの確認の既定です。社内でClaude CodeやCodexを使っている人に、確認が人に出る設定か、審査AIの設定かを聞いてください。Claude Codeの設定の種類は、公式文書の「Choose a permission mode」に並んでいます。
2つ目は、管理者が設定で決められるかです。Claude Codeでは、組織の管理者がauto modeを無効にできます。誰が管理者かを名前で書いてください。
3つ目は、人が見る場所を1行で書けるかです。「社外に送る文面と、削除と、支払いは、人が見る」のように書きます。1行で書けなければ、まだ置き場所が決まっていません。
仕組みを現場に入って一緒に作りたい方は、無料相談からどうぞ。
よくある失敗・NGパターン
①確認を増やして安心する
確認を50回以上見たあとの人の阻止率は約5%で、序盤は約17%でした。増やす前に、人が見る場所を絞ります。
②審査AIに全部任せて、計画を見ない
審査AIは操作を見る役で、計画が頼んだ範囲に収まっているかは人が見る場所です。人は計画の39%を却下し、審査AIにも合成攻撃で7%、実例で17%の見逃しがあります。
③確認を残したまま、人のいない時間に動かす
当社は定時のAIを手動確認の設定で動かし、14日間、夕方の公開が出ませんでした。人のいない時間に動かすなら、止まる場所と連絡先を先に決めます。
④押した人の責任にする
確認の97%は承認です。問題は反射的に押す人ではなく、反射的に押せてしまう設計にあります。責任を押した人に置くと、担当者は確認を減らす提案を出しにくくなる、と当社は見ています。
よくある質問とまとめ
auto modeとは何ですか?
人への確認の代わりに、審査役の別のAIが操作を見る動作です。危険なものは止められ、Claudeは別の道を探すか、利用者に尋ねます。3回続けて、または1セッションで20回止められると、手動の確認に戻ります。
人の確認は、全部いらなくなりますか?
なくなりません。公式の一覧は開発の操作が中心で、請求額が合っているかのような業務の判断は、項目として挙がっていません(当社が読んだ範囲)。人の判断は、4つの場所へ移ります。
法律で、人の確認は義務ですか?
AI事業者ガイドラインは、法的な義務を定めない文書です。人間の判断の介在の検討と、その実効性の確保を促す内容で、義務とは言えません。業法など個別の法律や業界の決まりは、この記事では調べていません。取引している業種のものを、別途確認してください。
非エンジニアの会社でも関係がありますか?
関係します。10月22日の追記は、Pro、Max、TeamのほとんどのClaudeアプリの新しいセッションが対象になると書いています。ただし、この記事の実験はテスト用の環境での有償テスターによるもので、非エンジニアの事務作業に当てはまるかは分かりません。
確認の回数を減らすと、責任はどうなりますか?
法的な責任の所在は、この記事では断定できません。社内の運用としては、人が見る場所を1行で書いておくと、誰が何を判断したかを説明できます。確認を減らすことと、判断をしないことは別です。
まとめ:今週やること
確認ボタンは97%が通り、実験で人が止めた危険な命令は13.6%、審査AIは89%でした。一方、人は計画の39%を却下しています。人が判断できるのは、目的と範囲が読める大きさのものです。人の判断は、計画、社外に出るもの、戻せないもの、権限を広げるものへ置き直し、今週は先の3つを確かめてください。
・Anthropic「Auto mode is now the default in Claude Code for Pro, Max, Ultra, and Team plans」(2026年8月7日公開、10月22日追記)
・Anthropic「How we built Claude Code auto mode」(2026年3月時点の内容)
・Claude Code Docs「Choose a permission mode」
・OpenAI「Auto-review」
・総務省・経済産業省「AI事業者ガイドライン(第1.2版)」本編(令和8年3月31日)、「AI事業者ガイドライン(第1.2版)別添」
・あわせて読む:AIの確認・修正が、削れた時間を打ち消す——中小企業の利用者23.7%が同程度の手間と回答、確認を減らす設計
