NGraphエヌグラフ
Evening Deep Dive

AIの学習を断るrobots.txtの1行は、GoogleではGeminiの回答に載る道まで閉じる

2026.11.05 夕 | 株式会社NGraph robots.txtの画面に、User-Agent: __usage_ai-training とDisallow: / の2行が表示され、Googleでは学習を断ると回答の根拠からも外れる、と書かれた表紙

AIの学習を断る共通の書き方が、10月30日に提案されました。

書く場所は、robots.txtです。サイトの入口に置くテキストファイルで、検索エンジンやAIのクローラー、つまりページを自動で読みに来るプログラムに、読んでよい範囲を伝えます。この提案を、GoogleとMicrosoftが同じ日に、それぞれの公式ブログで支持しました。

ただし、同じ1行でも、効く範囲は会社で違います。Googleは、この指定で学習を断ったサイトを、Google-Extendedを拒否したサイトと同じに扱う予定です。Google-Extendedの範囲は、学習と、Geminiの回答の根拠に使われることの両方に及びます。Microsoftの指定が及ぶのは、学習だけです。

当社が管理する公開サイトの本番のrobots.txtを取得すると、6サイトのうち2つで、手元のファイルに無い拒否が本番にだけ足されていました。

この記事でわかること
・10月30日に提案された共通の指定と、各社が示した対応の時期
・同じ1行が、GoogleとMicrosoftで違う範囲に効く理由
・Cloudflareが本番のrobots.txtに行を足す仕組みと、当社サイトでの実測
・自社サイトで、本番を開いて決める順番と、避けたい失敗

10月30日に提案されたのは、AIの学習を断る共通の1行

決まったのは標準ではなく、提案です。ここを最初に分けておきます。

提案されたのは、次の2行です。User-Agentの欄に、会社の名前ではなく、共通の名前を書きます。

User-Agent: __usage_ai-training
Disallow: /

1行目の__usage_ai-trainingが、共通の名前です。2行目のDisallow: /は、サイト全体を断るという意味になります。一部だけ開けたいときは、Allow: /press-kit/のように、例外のパスを足します。草案に載っている例です。

提案の出どころは、IETF(インターネットで使う技術の取り決めを議論する団体)に出た個人の草案です。著者はAnthropic所属のKevin Kelley氏で、2026年10月30日に提出されました。IETFの承認や正式な位置付けはなく、草案の有効期限は2027年5月3日と記されています。

この草案を、Googleは公式ブログで、Microsoftは自社のBing Blogで取り上げました。ここから、各社が何を約束したかを表にします。

会社断ったときに効く範囲いつから会社ごとの既存の指定
GoogleGoogle-Extendedを拒否したのと同じ扱い。将来のGeminiモデルの学習と、Geminiアプリの回答の根拠付けの両方2027年の早い時期に対応する予定。日付は未定共通の指定と並んで、引き続き機能する
MicrosoftAI学習だけ。回答の根拠付けは、ページ単位の指定で別に行う2027年2月1日に、新しい指定をクロール時に尊重し始めるNoArchive・NoCacheは、2027年3月1日以降、学習や根拠付けの意思表示として読まれなくなる
草案学習。生成AIモデルの学習済みパラメータを変えるための利用2026年10月30日に提出。有効期限は2027年5月3日ExampleBotのような会社ごとの指定は、引き続き確認される

Google Search Central Blog・Bing Blog(いずれも2026年10月30日)と、IETFの草案をもとに当社が整理しました。Googleの時期は「予定」です。

なぜ、Googleの行にだけ「根拠付け」という言葉が入っているのでしょうか。次の章で、中身を見ます。

同じ1行が、Googleでは回答の根拠まで、Microsoftでは学習だけに効く

両社の説明を合わせると、AIが関わる場面は2つに分かれます。1つは、AIのモデルを作るために、ページの内容を学習に使う場面です。もう1つは、利用者が質問したその場で、AIが回答を作るときの材料に、ページの内容を使う場面です。

後者を、GoogleもMicrosoftも「グラウンディング」と呼んでいます。Googleの説明では、質問の時点で、Google検索の索引にある内容をモデルに渡すことです。Microsoftの説明では、AIが生成する回答の材料として、内容を入力することです。

Googleは、学習と根拠付けを1つにまとめている

Googleは、共通の指定で学習を断ったサイトを、Google-Extendedを拒否したサイトと同じに扱う予定だと書いています。

Google-Extendedが何に効くかは、クローラーの一覧に書かれています。将来のGeminiモデルの学習と、グラウンディングの両方です。ブログには、Google-Extendedを明示的に許可したサイトは、Geminiアプリの回答に根拠として載り、クリックを受ける対象になる、とも書かれています。

ここで読み落としやすいことが2つあります。1つは、Google-Extendedという名前のクローラーが来るわけではない点です。取得は、既存のGoogleのクローラーが行います。もう1つは、Google-Extendedは、Google検索への掲載にも、検索順位にも影響しないとGoogleが説明している点です。

Microsoftは、学習だけに絞っている

Microsoftの共通の指定が対象にするのは、AI学習です。AI学習とは、生成AIモデルの学習済みパラメータを変えるための利用です。従来の検索結果の索引作成や順位付けは、グラウンディングに入りません。

回答の根拠付けは、ページ単位で指定します。robots.txtでサイト全体にまとめて指定する方法は、示されていません。ページ単位の学習の拒否も、metaタグやHTTPヘッダーで行えます。

Bingの通常の検索結果に載る資格は、変わりません。ただし、拒否を選ぶと、AIが生成する体験での露出は大きく減るとされています。どちらを選んでも、掲載や流入、支払いは保証されません。ライセンスや支払いの取り決めを作るものでもありません。

草案の文面と、Googleの扱いを並べると

草案の「学習」は、生成AIモデルの学習済みパラメータを変えるための利用です。回答の材料に使うことは、この定義に入っていません。

それなのにGoogleは、この指定をGoogle-Extendedの拒否と同じに扱い、その中には回答の根拠付けが入っています。文面を並べると、Googleでは、草案の定義より広い範囲に効く予定だと読めます。これは当社の読みで、Googleがそう説明しているわけではありません。

図1は、この違いを、断つ範囲の軸で並べたものです。

同じ1行が、会社によって違う範囲に効く

回答の根拠だけ断るMicrosoft:ページ単位の指定学習も回答の根拠も断るGoogle(予定)どちらも断らない何も書かないUser-Agent: *だけ学習だけ断るMicrosoft:共通の1行AIの学習を断る(右ほど断る)回答の根拠を断るGoogleでは学習を断ると、Geminiの回答の根拠からも外れる出所:Google Search Central Blog・Bing Blog(2026年10月30日)

読者にとって大事なのは、同じ1行を書いたとき、どこまで断ったことになるかが、会社ごとに違うことです。「学習を断る」と「AIの回答に載る」は、別の話です。それなのに、Googleでは1つの指定に束ねられる予定とされています。

書かなければ「意思表示なし」で、User-agent: * では効かない

書けば、そのとおりに効くのでしょうか。共通の指定には、書き方のルールがあります。草案が定めているのは、次の点です。

まず、User-Agent: *のグループは、この指定に当てはめません。グループとは、robots.txtの中で、User-Agentの行から次のUser-Agentの行までのまとまりです。*は、すべてのクローラーを指す書き方なので、AIの学習への意思表示とは別に扱われます。

次に、この指定を含むグループが無ければ、意思表示なしになります。「断らなかった」ではなく、「何も言っていない」という扱いです。

会社ごとの指定は、そのまま残ります。ExampleBotのような名前を指定した行は引き続き確認され、Googleのブログにも、既存の指定は共通の指定と並んで機能する、と書かれています。

最後に、この指定はクロールの動作を指示するものではありません。個別の契約は、この仕組みで示した意思表示に優先しうる、という注意書きも付いています。

書き方草案での扱い
何も書かない意思表示なし。Microsoftは、何も書かなければ許可が既定と説明している
User-Agent: *だけこの指定には当てはまらない。意思表示なし
共通の名前で、Disallow: /学習に反対する意思表示。Googleでは、Google-Extendedの拒否と同じ扱いになる予定

IETF草案(draft-kelley-aipref-training-preference-signal-00)とGoogleのブログをもとに当社が整理しました。

2行目の「User-Agent: *だけ」は、当社のサイトでも、6つのうち3つがこの形でした。詳しくは、次の次の章で書きます。

もう1つの経路は、Cloudflareが本番のrobots.txtに行を足すこと

自分で書いた覚えがないのに、AIを断る行が入っていることはあるのでしょうか。あります。Cloudflareが足す場合です。

Cloudflareは、管理用のrobots.txtを、サイトにある既存のrobots.txtの前に足し、1つの応答にまとめて返します。サイトにrobots.txtが無ければ、既知のAIクローラーを拒否する新しいファイルを作ります。全プランで使える機能です。

新しいドメインでは、検索、エージェント、学習のどれも「許可」が既定で、その場合は何も足されません。Cloudflareが入れる既定のContent-Signalは、search=yes、ai-train=no、use=referenceです。

Content-Signalは、Cloudflareが提案した、サイトの意思表示を書く項目です。それぞれの意味を表にします。

項目意味Cloudflareが入れる既定
search検索の索引作成と、検索結果(リンクと短い抜粋)の提供。AIが生成する検索の要約は含まないyes
ai-inputAIの回答のために、内容をモデルに入力すること。RAGやグラウンディングなど値を入れない
ai-trainAIモデルの学習と微調整no
use意味は当社で確認できていないため、ここでは書かないreference

Cloudflare Blog「Giving users choice with Cloudflare's new Content Signals Policy」とCloudflare Docsをもとに当社が整理しました。ai-inputは、管理用robots.txtの利用者には値を出さないと書かれています。

注意したいのは、ai-inputを入れない点です。回答の根拠に使うことについて、Cloudflareの既定の行は、何も言っていません。

一方で、同じ管理用のrobots.txtには、会社名を名指しで断る行も入ります。当社の2サイトでは、GoogleのGoogle-Extended、OpenAIのGPTBot、AnthropicのClaudeBotなど、32種類のクローラーが、Disallow: /で断られていました。

もう1つ、Cloudflareの説明で押さえておく点があります。robots.txtの順守は、任意です。強制したいときは、AI Crawl Controlという別の機能を使うよう案内されています。もう1つ、AI Crawler and Agent access policiesの設定で学習を「Disallow」にし、Bot Preference Syncを有効にすると、robots.txtに加えて、学習用のクローラーをCloudflareの入口でも遮断します。検索と学習の両方に使うクローラーは、この遮断から除かれます。設定の場所は、セキュリティ、設定、Bot trafficの順です。

Content Signalは、スクレイピングへの技術的な対抗手段ではない、とも書かれています。意思表示を書く場所で、止める道具ではありません。

中小企業の現場で見たこと

当社は、自分たちが管理するサイトで、本番のrobots.txtを確かめました。

当社のサイトで、本番のrobots.txtを取得して確かめた話
2026年11月5日に、当社が作って管理している公開サイトのうち、robots.txtを返した6サイトを取得しました。自社のサイト、自社サービスのサイト、うちが作った飲食店のホームページです。
共通の指定を書いていたのは、0サイトでした。3サイトは、User-Agent: *とAllow: /だけです。1サイトは、当社のコーポレートサイトで、AIのクローラー9種を名指しで許可していました。残る2サイトは、うちが作った飲食店のホームページです。
この2サイトで、手元のファイルと本番が違いました。手元のファイルは、User-Agent: *、Allow: /、Sitemapの行だけです。ところが本番の先頭には、Cloudflareが足したブロックが付いていました。search=yes、ai-train=no、use=referenceのContent-Signalと、32種類のクローラーへのDisallow: /です。2サイトの中身は同じでした。

うちのサイト6つのうち、共通の指定を書いていたのは0

Cloudflareが32種類を拒否2サイトUser-agent: * だけ3サイトAIを名指しで許可1サイト共通の指定を書いていた0サイト手元のファイルと本番が違ったのは2サイト出所:NGraph実測(2026年11月5日・本番のrobots.txtを取得)

手元のファイルを見て「全部許可」と思っていたサイトが、本番では32種類を断っていました。誰がいつ設定をオンにしたかは、分かっていません。

32種類にはGoogle-Extendedが含まれています。Googleの説明どおりなら、この2サイトは、Geminiアプリの回答の根拠として載る対象から外れています。流入が減ったかどうかは、測っていないので書けません。

反対に、当社のコーポレートサイトは、AIのクローラー9種を名指しで許可しています。GPTBot、OAI-SearchBot、ChatGPT-User、PerplexityBot、ClaudeBot、Claude-Web、Google-Extended、Bingbot、CCBotです。Googleのブログの書き方なら、Google-Extendedを明示的に許可したサイトに当たります。

手元のファイルと、本番の中身が、同じとは限りません。見る場所を間違えると、判断の前提が崩れます。

自社サイトで決める順番は、本番を開いて、載るかと断るかを分ける

当社が見てほしいのは、次の順番です。作業は、ブラウザだけで済みます。

手順やること見るもの
1ブラウザで、自社ドメインの末尾に/robots.txtを付けて開く手元のファイルではなく、本番の中身
2「BEGIN Cloudflare Managed」の行があるかを探すあれば、Cloudflareが足した行がある
3「AIの回答に載りたいか」と「AIの学習を断りたいか」を、分けて決める社内で、どちらを優先するか
4決めた結果を、robots.txtに書く下の例
52027年2月以降に、もう一度本番を開く各社の対応が始まったあとの中身

手順は当社の提案です。各社の対応の日付は、Bing BlogとGoogle Search Central Blogによります。

手順3の決め方で、書く行が変わる

3つ目の手順が、いちばん大事です。ここで決めるのは、技術ではなく、会社の方針です。

AIの回答に載りたい会社は、Google-Extendedを断りません。Googleのブログでは、明示的に許可したサイトが、Geminiアプリの回答の根拠に載ると書かれています。次のような、名指しの許可の書き方があります。

User-agent: Google-Extended
Allow: /

学習を断りたい会社は、共通の名前を書きます。サイト全体を断るなら、次の2行です。

User-Agent: __usage_ai-training
Disallow: /

ここで、Googleについて覚えておきたいことがあります。この2行は、Google-Extendedの拒否と同じに扱われる予定で、その範囲は学習と回答の根拠付けの両方です。学習だけを断るつもりで書いても、Geminiの回答に載る道まで閉じる可能性があります。分けて決めるのは、書く前です。

一部のページだけ扱いを変えたいときは、パスを指定します。例えば、プレスキットのページだけ開けたいときは、Disallow: /に、Allow: /press-kit/を足します。

手順5の日付は、図3のとおり

各社の対応が始まるのは、2027年です。図3に、確認できた日付を並べます。図の「旧指定」は、NoArchiveとNoCacheのことです。12月15日の移行用設定は、このどちらかを使っているサイトが対象です。

各社の対応は2027年に始まる

10/30共通の指定を提案12/15Bing移行設定2/1Microsoftが尊重開始3/1旧指定の読取終了9/30移行設定が終了2026年Googleは2027年の早い時期を予定、日付は未定出所:Bing Blog・Google Search Central(2026年10月30日)

Googleは、2027年の早い時期と書いていて、日付は示していません。そのため、手順5は「2027年2月以降」とし、Googleのブログと、Bing Blogを、見直しのたびに開き直します。

AIの回答にどう載るかを一緒に整理したい方は、無料相談からどうぞ。

よくある失敗は、手元のファイルを見て決めてしまうこと

ここまでの内容から、避けたい失敗を4つ挙げます。

1. 手元のファイルだけ見て、判断する

Cloudflareは、既存のrobots.txtの前に、管理用の行を足して1つの応答にまとめます。手元のファイルが「Allow: /」だけでも、本番は違うことがあります。当社の2サイトが、実際にそうでした。判断の材料は、ブラウザで開いた本番の中身にします。

2. User-agent: *にDisallow: /を書いて、AIだけ止めたつもりになる

*は、すべてのクローラーを指すので、Googleの検索のクローラーも含みます。しかも草案は、*のグループを共通の指定に当てはめないと定めています。つまり、AIの学習への意思表示としては数えられない扱いです。

Googleは、Google-Extendedが検索への掲載にも順位にも影響しないと説明しています。AIに向けた指定と、検索に向けた指定は、別のものです。AIだけを止めたいなら、共通の名前かGoogle-Extendedの行を、名指しで書きます。

3. 学習だけを断るつもりで、Google-Extendedを拒否する

Google-Extendedが対象にするのは、学習とグラウンディングの両方です。Googleのブログによれば、明示的に許可したサイトは、Geminiアプリの回答に根拠として載り、クリックを受ける対象になります。拒否は、Geminiアプリの回答の根拠に使うことも断る意思表示になります。

当社の2サイトでは、Cloudflareの行の中に、Google-Extendedが入っていました。手元のファイルに書いていなくても、本番では同じことが起きる場合があります。

4. 書けば守られると思う

robots.txtの順守は、各社の対応に任されています。Cloudflareも、順守は任意だと書いています。草案では、この指定は、クロールの動作を指示するものとは別物です。個別の契約が優先しうる、という注意書きも付いています。

以前の記事で、AIボットを名乗る偽のアクセスを調べました。robots.txtが防御にならない話は、AIボットを名乗る偽アクセスの記事にまとめています。止めたいものがあるなら、robots.txtとは別の手段が要ります。

AIの学習を断る行は、方針を表す札です。札の中身を、本番で確かめてください。確認や設計を一緒に進めたい方は、無料相談でも受けています。

よくある質問

共通の指定は、いつから効きますか?

Microsoftは2027年2月1日から、新しい指定をクロールのときに尊重し始めると書いています。Googleは2027年の早い時期に対応する予定で、日付は決まっていません。Googleは、他のAI事業者とともに2027年の対応を目指すとも書いています。いずれも提案段階の草案に基づく話で、IETFが承認した標準ではありません。

書かなければ、学習に使われるのですか?

書かなければ「意思表示なし」です。草案は、この指定を含むグループが無ければ、意思表示が無いものとして扱います。Microsoftの説明では、何も書かなければ許可が既定です。実際に学習に使われるかどうかは、各社の対応と、個別の契約が決めます。

Google検索の順位は下がりますか?

Googleは、Google-Extendedが検索への掲載に影響せず、検索順位の要素にもならないと説明しています。Bingも、通常の検索結果に載る資格は変わらないと書いています。ただし、Bingで拒否を選ぶと、AIが生成する体験での露出は大きく減る、という説明です。

AI Overviewsはどうなりますか?

Googleの今回の発表は、AI Overviewsに触れていません。どうなるかは、こちらでは推測しません。Googleの発表が更新されたら、そこを確かめてください。

Cloudflareが足した行は、消すべきですか?

消すべきかどうかは、AIの回答に載りたいか、学習を断りたいかで決まります。どちらが正解とは言えません。まず本番のrobots.txtを開いて、何が足されているかを確かめるところから始めます。

OpenAIやAnthropicは、いつから対応しますか?

草案の著者のKevin Kelley氏は、Anthropic所属です。ただし、Anthropicが対応する時期は、今回確認した資料に書かれていません。OpenAIは、公式の発表ページを執筆時に確認できなかったので、時期は書きません。

まとめ

AIの学習を断る1行は、会社によって、効く範囲が違います。Googleでは回答の根拠まで、Microsoftでは学習だけです。

決める順番は3つです。1つ目は、ブラウザで、本番のrobots.txtを開くこと。2つ目は、AIの回答に載りたいか、学習を断りたいかを、分けて決めること。3つ目は、2027年2月以降に、もう一度本番を開き直すことです。

今日、自社のドメインの末尾に/robots.txtを付けて開いてください。「BEGIN Cloudflare Managed」の行があるかを探すのが、最初の1分の仕事です。

なお、この記事は公開資料の読み解きで、法的な助言ではありません。個別の判断は、各社の発表の原本で確かめてください。

自社サイトのAIへの意思表示を、本番で確かめます。

エンジニアが御社の現場に入り、robots.txtの中身と、AIの回答に載りたいかどうかの方針を、一緒に整理する伴走支援です。8問の無料AI診断で現在地もわかります。

無料で相談する
参考(一次情報):
・Google Search Central Blog「Supporting a shared AI training control for websites」(2026年10月30日)
・Google for Developers「Google's common crawlers」
・Bing Blog「Your content, your choice: clearer preferences for training and grounding」(2026年10月30日)
・IETF「draft-kelley-aipref-training-preference-signal-00 - Machine-Readable Training Preference Signal」(2026年10月30日)
・Cloudflare Docs「robots.txt setting」(2026年11月2日更新)
・Cloudflare Docs「AI Crawler and Agent access policies」(2026年11月2日更新)
・Cloudflare Blog「Giving users choice with Cloudflare's new Content Signals Policy」
・あわせて読む:AIボットを名乗る偽アクセスの記事
← ブログ一覧に戻る