コードの約9割をAIが書くClaude Codeのチームは、AIが自分の検査を書き換えられないようにしていた
2026.11.18 夕 | 株式会社NGraph
Claude Codeのチームが、AIの確かめ方を公開しました。
Anthropicが2026年11月16日に公式ブログで説明した、AIが書いたコードの確かめ方です。結論は、人は変更を全部は読まない、というもの。代わりに、検査の置き場所と、人を呼ぶ回数を決めています。
コードを書かない会社にも、同じ判断が要ります。AIに見積や書類や記事を作らせ、別のAIや検査に確かめさせるなら、同じ問題が起きるからです。私たちは福井市のNGraphという会社で、自社ブログの公開前検査を運用しています。その検査は、この基準を満たしていませんでした。
・Claude Codeのチームが、人が全部読まずにAIの仕事を確かめる方法
・2本の公式記事に出てくる「3回」が、別の意味を持つこと
・自社の検査で足りなかった点と、明日から決めておくこと
1日2,500件が30,000件超になり、人は全部読めなくなった
Anthropicは2026年10月15日の別の記事で、コードレビューの変化を数字で書いています。Anthropicのモノレポに1日に入る変更は、5月の約2,500件から、9月には30,000件超になりました。モノレポは、会社のコードを1つの大きな保管場所にまとめたものです。Claude Codeは別の保管場所にあります。
1日に入る変更は、4か月で約2,500件から30,000件超になった
Claude Codeでは、2026年6月から9月にマージされたプルリクエストが2倍超になりました。取り消しが必要になった割合は、40%超減っています。プルリクエストは「この変更を本体に取り込んでください」という申請です。取り込むことがマージで、取り込んだ変更を元に戻すことが取り消しです。
11月16日の記事は、Claude Codeチームのコードの約90%が、Claudeによって書かれ、レビューもされていると書きます。検証の仕組みが無いと、人が全部確かめるので、同時に動かせるClaudeは1〜2体にとどまり、あれば数十から数百を並行で動かせる、というのが記事の説明です。
| 記事 | 公開日 | 主題 | 主な数字(条件つき) |
|---|---|---|---|
| 検証 | 2026年11月16日 | AIのコードを確かめる仕組み | コードの約90%がClaude製/別の採点役に基準表と照らさせると、標準のやり方より課題の成功率が最大10ポイント上昇(構造化されたファイルの生成の社内テスト) |
| レビュー | 2026年10月15日 | 審査の回し方と、人の承認の置き方 | Anthropicのモノレポの1日の変更が約2,500件から30,000件超へ/Claude Codeのマージ済みプルリクエストは2倍超 |
表1 2本の公式記事の対比。出所はAnthropicの公式ブログ
検証とは、変更を実際に動かすことだ、と11月16日の記事は書きます。投資する価値があるテストは3種類で、1つに絞るならE2Eテストです。E2Eテストは、利用者の一連の操作を最初から最後まで動かします。商品をかごに入れ、会計して、確認画面まで進む流れです。
残る2つは、性質を崩す入力を探すプロパティテストと、新旧の結果を比べる差分テストです。ただ、この記事の主題は、テストの種類より、その上の判断にあります。人の役目は、全部読むことから、完了の定義を決めて証拠を読むことへ移る、と記事は結んでいます。
検査を、検査される側が書き換えられない場所に置く
11月16日の記事で、いちばん強い一文はこれです。訳すと、「変更が、自分を判定する検査を変えられるなら、その検査は壊れている」となります。
たとえば、受験者が採点基準を書き換えられる試験は、満点でも何も保証しません。AIの仕事を、AIの手が届く基準で確かめるのも同じ構図です。
Claude Codeチームは、これを置き場所で守っています。審査の機能であるCode Reviewは、REVIEW.mdをベースブランチか既定ブランチから読み、プルリクエスト自身の変更からは決して読みません。REVIEW.mdは、AIの審査役に「このコードでは何を見るか」を伝える文書で、コードの持ち主が書きます。ブランチは、本体から枝分かれさせた作業用の写しです。既定ブランチが本体で、ベースブランチは、その変更の取り込み先です。
公式文書の「Customize Code Review」にも、同じ内容があります。審査の挙動を変えるには、先にREVIEW.mdの変更をマージします。基準を変えたいなら、人が承認して取り込む手順を、先に踏むわけです。既定ブランチの保護も求めていて、保護の設定を確認できない場合、Code ReviewはREVIEW.mdを読みません。
置き場所のほかにも決まりがあります。レビューは、コミットに結び付けます。コミットは、変更を1回ぶん記録することです。古いコミットへの合格は、意味を持ちません。人の承認はリスクで変わり、低なら自動の審査とセキュリティ検査が通れば不要、中なら1人、高なら2人です。段階を決めるのは、作者ではなく変更の中身です。しかも、エージェントの承認は、人の承認に数えません。
同じ「3回」が、2本の記事で別のものを指している
2本の公式記事には、どちらにも「3回」が出てきます。同じ数字は、同じものを指しているのでしょうか。
11月16日の記事の3回は、機械の検査が落ち続けた回数です。検査が落ちているうちは、Claudeが直そうとします。3回やっても落ちたままなら、Claudeは止まって人を呼ぶ決まりです。検査を書くのはコードの持ち主で、人を呼ぶときは理由も言います。
10月15日の記事の3往復は、AIの審査役との往復です。審査と修正の往復が3回を超えたら、審査役が作者に、一歩引いて作り方を考え直すよう求めます。つまり、前者は人を呼ぶ合図で、後者は作者に考え直させる合図です。
3往復の上限には、理由があります。あるCLIのプルリクエストが、一晩で50回を超える往復をして、作者が止めました。審査役が指摘し続けた箇所をgit blameで調べると、約59%が、審査役の最初の回からあったコードでした。git blameは、その行がいつ誰の変更で入ったかを調べる機能です。新しいバグではなく、古いバグを毎回少しずつ見つけていたのです。
審査役が指摘し続けた箇所の約59%は、最初の回からあったコードだった
上限がなければ、往復は終わりません。上限は、往復を止めて作り方に戻るための線です。
ここからは、私たちの読みです。11月16日の記事は、審査役を1つにして回数を重ねる、と書きます。主の審査役の上に高価な2つ目を積むのは、主を調整するより悪い手になることが多いそうです。一方、10月15日の記事では、1つの審査の中で複数のエージェントが同時にバグを探し、別の組が指摘ごとに投票します。2本を並べると、前者は審査役の上に1段を積む話、後者は1つの審査の中の作りの話に読めます。
新しい検査は「止めない」設定から始め、検査そのものを採点する
検査を足せば、安全になるのでしょうか。足すたびに、正しい仕事を誤って止める危険も出ます。11月16日の記事は、その扱いも書いています。
コミットの関門には、off、observe、enforceの3つのモードがあります。観察モード(observe)は、止めていたはずのものを記録するだけで、誤検知を見直せます。コミットを止めるのは、強制モード(enforce)です。ただし、同じセッションで2回止められたら、次の1回は通します。Claude Codeは完璧ではなく、立ち往生させないためです。
各コミットには、どう検証したかの印を付けます。印には「none(なし)」も含まれるので、検証されなかったコミットを後から引けます。
検査も採点します。見るのは、マージ後に取り消された変更の数、マージ前に保守担当が却下した変更の数、大きさをそろえた「問題が出ていない変更」の部分集合です。
見逃しは、決まりに変えます。1つ目は、人のレビューコメントと取り消しから型を抜く方法です。少なくとも2つのプルリクエストで起き、差分から見分けられるものだけが候補で、3体のエージェントが反証を試み、人が承認します。2つ目は、既知の障害に結び付いたプルリクエストに、3体のバグ探しを再生する方法です。2体以上が見つければ検出できるバグで、小さな差分で見逃したなら、REVIEW.mdの決まりにします。
決まりは、放っておくと増える一方です。定期的な片付けも、記事は求めています。
まだ決めていないこともあります。10月15日の記事によると、取り消しや障害の数字が動いたときに、承認を自動で厳しくする遮断の仕組みは、まだありません。人を通さないマージを増やす前に欲しい、と技術者が言っています。
うちの検査は、この基準を満たしていなかった
この基準を、自社の検査に当ててみました。NGraphのブログは、公開前にgate.pyという検査を回します。AIが書き、機械が確かめる作りです。
自社の公開前検査34本のうち、11本は止めない設定
うまくいっている点は2つです。1つは、自己テストが先頭にあること。Anthropicの「審査役を審査する」と同じ方向です。もう1つは、止めない設定です。2026年10月19日に、AIが自分の判断で足した文体、型、同期の検査が、公開全体を止めていると分かり、止めない設定へ移しました。
ダメな点は、置き場所です。この検査は、記事を書くAIが編集できるのと同じフォルダにあります。別のブランチには分けていません。守るのは、自己テストと、検査を緩めるのは禁止という文書の指示だけです。
しかも、2026年11月18日に確かめると、ゲート本体と自己テストを含む検査のスクリプト5本に、コミットされていない変更が残っていました。未コミットなので、どの作業で変えたかは、履歴に残っていません。
「変更が、自分を判定する検査を変えられるなら、その検査は壊れている」。この基準に照らすと、うちの検査は満たしていません。直すなら、検査を別の場所に置き、変更は人が承認する形になります。
AIに仕事を任せる会社が、先に決めておくこと
公式記事の決まりを、コードを書かない会社に置き換えます。右の列は、私たちの置き換えです。
| 決めること | Anthropicのチーム | 私たちの置き換え |
|---|---|---|
| 置き場所 | REVIEW.mdは、変更が変えられないブランチから読む | 検査の基準書は、AIが編集できない場所に置き、変更は人が承認する |
| 人を呼ぶ | 3回直しても検査が落ちたままなら、Claudeは止まり人を呼ぶ | 同じ直しが3回通らなければ、人に上げる |
| 新しい検査 | 観察モードでは、止めず記録だけ残す | 新しいチェックは、最初の数週間は記録だけにする |
| 採点 | 取り消された件と、却下された件を追う | チェックが見逃した件と、空振りした件を月1回数える |
| 掃除 | 決まりは増える一方なので、定期的に片付ける | 増えた決まりを、定期的に捨てる |
表2 左はAnthropicの公式ブログ、右は私たちの置き換え
明日やることは1つです。AIに作らせ、別のAIに確かめさせている仕事を選び、その基準書の置き場所を開いて、AIが編集できるかを書き留めます。
よくある失敗・NGパターン
- 検査を、作業と同じ場所、同じ権限に置く。自社では、検査のスクリプト5本に、どの作業で変えたか分からない未コミットの変更が残っていました。
- 通るまで、AI同士で回させる。あるCLIのプルリクエストは、一晩で50回を超える往復をして止められました。
- 新しい検査を、いきなり止める設定で入れる。自社では、AIが足した検査が公開全体を止め、2026年10月19日に止めない設定へ移しました。
人が確認を挟む場所は、AIの確認ボタンと確認・修正の手間の記事にも書きました。
「AIに任せる範囲と、人が証拠を読む場所」から、一緒に決めます。
NGraphは福井市の会社です。福井・石川・富山は訪問、それ以外の地域はオンラインで、エンジニアが現場に入ってAIを業務に組み込みます。
無料で相談するよくある質問
コードを書かない会社にも関係がありますか?
関係があります。AIに見積や書類を作らせ、別のAIや検査に確かめさせるなら、検査の基準をAIが書き換えられるかが、同じように問題になります。
REVIEW.mdとは何ですか?
AIの審査役に「このコードでは何を見るか」を伝える文書で、コードの持ち主が書きます。Code Reviewは、ベースブランチか既定ブランチから読み、プルリクエスト自身の変更からは読みません。手元で動かす/code-reviewコマンドは別の道具で、CLAUDE.mdを読み、REVIEW.mdは読みません。
観察モードとは何ですか?なぜ最初から止めないのですか?
観察モードは、止めていたはずのものを記録するだけで、実際には止めないモードです。誤検知を見直せるので、新しい検査が正しい仕事を止めないかを、先に確かめられます。
AIが確かめた結果を、人はどこまで見ればよいですか?
10月15日の記事は、人が残る場所を5つ挙げています。作るかどうかの判断、リスクの高いコード、他が真似る設計、証拠を読むこと、結果の責任です。同じ記事は、検査が何を見逃しうるかを言えないなら、軽い承認で済ませず、本当のレビューを頼むよう書いています。
まとめ
AIが作ってAIが確かめる仕事では、人の役目が、完了の定義を決めて証拠を読むことへ移ります。効くのは検査の数ではなく、置き場所と、人を呼ぶ回数です。まず、自社の基準書がAIの手の届く場所にないかを確かめてください。
・Anthropic(claude.dev Blog)「How the Claude Code team thinks about verification」著者 Addy Osmani(2026年11月16日)
・Anthropic(claude.dev Blog)「How the Claude Code team does code review」著者 Addy Osmani, Morgan Westlee Lunt, Qing Wang(2026年10月15日)
・Claude Code Docs「Customize Code Review」
