AIを2体並べても、同じ間違いをします——検算には順番がある

私たちは自社の業務を、複数のAIで回しています。設計や実装を進めるAIと、それを別の立場から検算するAIを分け、両方に同じ社内の正本（会社として確定した情報）を読ませる構成です。「AIの出力を、別のAIにチェックさせればいい」——そう考える方は多いと思います。私たちもそう考えて始めました。

結論から言うと、それだけでは足りませんでした。直近1日で、1つの設計書を別のAIに3回レビューさせた記録が残っています。3回とも指摘は正しく、3回とも、書いた側は自分の間違いに気づいていませんでした。

1体で使うと、書いた本人は気づかない

まず起きたのは、シンプルな話です。社内の正本に書いてある一文を、AIが読んだうえで意味を取り違え、原文に書いていない制約を作って設計書に書き込みました。「これは禁止すべきだ」と、それらしい根拠まで添えて。

厄介なのは、読んでいなかったわけではないことです。正本は確かに読んでいる。読んだうえで、文の一部だけを切り出し、主語を落として解釈していました。「参照した記録がある」ことと「正しく読んだ」ことは別物だ、という当たり前のことが、実際に事故として出てきた形です。

もし社内の誰も気づかなければ、その制約は設計書に残ったまま、外部の実装者へ渡っていました。本来やってよいことが「やってはいけないこと」として伝わる——これは、後から発見するのがとても難しい種類の失敗です。やらなかった仕事は、苦情になりません。

では2体にすれば解決するのか——しません

そこで別のAIにレビューさせました。結果は3周かかりました。

注目してほしいのは2周目です。指摘を受けて直したのに、直したところに新しい問題を作っていました。しかも本人（AI）は、また気づいていません。1周目と同じ構造の誤りを、違う場所で繰り返しています。

この経験の前に、私たちは別の日に起きた失敗6件を分類したことがあります。そのときの内訳が、順番を考えるうえで一番効きました。

6件のうち4件は、AIを何体並べても防げませんでした。実行して、出力を見て、実測しなければ分からない種類だからです。そして最後の1件は、AIが2つとも見落として人間が見つけました。

検算には順番がある

置き場を3つに分けた理由

もう1つ、実際にやってみて分かったことがあります。同じ正本を読ませるなら、置き場は1つでいいわけではないということです。私たちは3つに分けています。

分けた理由は、失敗したからです。ある日、まだ社内レビュー中だった営業資料を、社内AIが読む知識の置き場に入れてしまいました。翌朝、撤去しています。そこに置くということは、AIが未確定の内容を「会社の見解」として答えうる状態にするということでした。

判断の基準は1つに絞れます。「これをAIが、会社の知識として喋ってよいか？」——NOなら作業場へ。この一言で、迷う場面がほとんどなくなりました。

そして作業場を分けたことで、副次的な効果がありました。AI同士が、人を介さずに往復できるようになったことです。それまでは「片方の回答をコピーして、もう片方に貼る」という作業を人がやっていました。同じファイルを両方が読み書きできれば、人がやるのは最後に通すか通さないかの判断だけになります。

まとめ——順番と、範囲

AIの出力を検算する体制は、「もう1体増やす」では作れませんでした。実際に効いたのは順番です。機械で確かめられることは必ず機械で確かめ、機械で測れないものだけAIに見せ、人が決めるのは最後の判断だけにする。

そして置き場を分けること。承認されたものと、作業中のものが同じ場所にあると、AIは区別できません。区別できない状態で読ませれば、未確定の話が確定した事実として出てきます。

私たちがこれを自社でやっているのは、売る前に自分たちで使うためです。今回の3周のレビューも、実際に外部へ渡す直前で止まりました。止まったこと自体が、この仕組みが動いている証拠です。

よくある質問