AIの学習を断るrobots.txtの1行は、GoogleではGeminiの回答に載る道まで閉じる
2026.11.05 夕 | 株式会社NGraph
AIの学習を断る共通の書き方が、10月30日に提案されました。
書く場所は、robots.txtです。サイトの入口に置くテキストファイルで、検索エンジンやAIのクローラー、つまりページを自動で読みに来るプログラムに、読んでよい範囲を伝えます。この提案を、GoogleとMicrosoftが同じ日に、それぞれの公式ブログで支持しました。
ただし、同じ1行でも、効く範囲は会社で違います。Googleは、この指定で学習を断ったサイトを、Google-Extendedを拒否したサイトと同じに扱う予定です。Google-Extendedの範囲は、学習と、Geminiの回答の根拠に使われることの両方に及びます。Microsoftの指定が及ぶのは、学習だけです。
当社が管理する公開サイトの本番のrobots.txtを取得すると、6サイトのうち2つで、手元のファイルに無い拒否が本番にだけ足されていました。
・10月30日に提案された共通の指定と、各社が示した対応の時期
・同じ1行が、GoogleとMicrosoftで違う範囲に効く理由
・Cloudflareが本番のrobots.txtに行を足す仕組みと、当社サイトでの実測
・自社サイトで、本番を開いて決める順番と、避けたい失敗
10月30日に提案されたのは、AIの学習を断る共通の1行
決まったのは標準ではなく、提案です。ここを最初に分けておきます。
提案されたのは、次の2行です。User-Agentの欄に、会社の名前ではなく、共通の名前を書きます。
User-Agent: __usage_ai-training Disallow: /
1行目の__usage_ai-trainingが、共通の名前です。2行目のDisallow: /は、サイト全体を断るという意味になります。一部だけ開けたいときは、Allow: /press-kit/のように、例外のパスを足します。草案に載っている例です。
提案の出どころは、IETF(インターネットで使う技術の取り決めを議論する団体)に出た個人の草案です。著者はAnthropic所属のKevin Kelley氏で、2026年10月30日に提出されました。IETFの承認や正式な位置付けはなく、草案の有効期限は2027年5月3日と記されています。
この草案を、Googleは公式ブログで、Microsoftは自社のBing Blogで取り上げました。ここから、各社が何を約束したかを表にします。
| 会社 | 断ったときに効く範囲 | いつから | 会社ごとの既存の指定 |
|---|---|---|---|
| Google-Extendedを拒否したのと同じ扱い。将来のGeminiモデルの学習と、Geminiアプリの回答の根拠付けの両方 | 2027年の早い時期に対応する予定。日付は未定 | 共通の指定と並んで、引き続き機能する | |
| Microsoft | AI学習だけ。回答の根拠付けは、ページ単位の指定で別に行う | 2027年2月1日に、新しい指定をクロール時に尊重し始める | NoArchive・NoCacheは、2027年3月1日以降、学習や根拠付けの意思表示として読まれなくなる |
| 草案 | 学習。生成AIモデルの学習済みパラメータを変えるための利用 | 2026年10月30日に提出。有効期限は2027年5月3日 | ExampleBotのような会社ごとの指定は、引き続き確認される |
Google Search Central Blog・Bing Blog(いずれも2026年10月30日)と、IETFの草案をもとに当社が整理しました。Googleの時期は「予定」です。
なぜ、Googleの行にだけ「根拠付け」という言葉が入っているのでしょうか。次の章で、中身を見ます。
同じ1行が、Googleでは回答の根拠まで、Microsoftでは学習だけに効く
両社の説明を合わせると、AIが関わる場面は2つに分かれます。1つは、AIのモデルを作るために、ページの内容を学習に使う場面です。もう1つは、利用者が質問したその場で、AIが回答を作るときの材料に、ページの内容を使う場面です。
後者を、GoogleもMicrosoftも「グラウンディング」と呼んでいます。Googleの説明では、質問の時点で、Google検索の索引にある内容をモデルに渡すことです。Microsoftの説明では、AIが生成する回答の材料として、内容を入力することです。
Googleは、学習と根拠付けを1つにまとめている
Googleは、共通の指定で学習を断ったサイトを、Google-Extendedを拒否したサイトと同じに扱う予定だと書いています。
Google-Extendedが何に効くかは、クローラーの一覧に書かれています。将来のGeminiモデルの学習と、グラウンディングの両方です。ブログには、Google-Extendedを明示的に許可したサイトは、Geminiアプリの回答に根拠として載り、クリックを受ける対象になる、とも書かれています。
ここで読み落としやすいことが2つあります。1つは、Google-Extendedという名前のクローラーが来るわけではない点です。取得は、既存のGoogleのクローラーが行います。もう1つは、Google-Extendedは、Google検索への掲載にも、検索順位にも影響しないとGoogleが説明している点です。
Microsoftは、学習だけに絞っている
Microsoftの共通の指定が対象にするのは、AI学習です。AI学習とは、生成AIモデルの学習済みパラメータを変えるための利用です。従来の検索結果の索引作成や順位付けは、グラウンディングに入りません。
回答の根拠付けは、ページ単位で指定します。robots.txtでサイト全体にまとめて指定する方法は、示されていません。ページ単位の学習の拒否も、metaタグやHTTPヘッダーで行えます。
Bingの通常の検索結果に載る資格は、変わりません。ただし、拒否を選ぶと、AIが生成する体験での露出は大きく減るとされています。どちらを選んでも、掲載や流入、支払いは保証されません。ライセンスや支払いの取り決めを作るものでもありません。
草案の文面と、Googleの扱いを並べると
草案の「学習」は、生成AIモデルの学習済みパラメータを変えるための利用です。回答の材料に使うことは、この定義に入っていません。
それなのにGoogleは、この指定をGoogle-Extendedの拒否と同じに扱い、その中には回答の根拠付けが入っています。文面を並べると、Googleでは、草案の定義より広い範囲に効く予定だと読めます。これは当社の読みで、Googleがそう説明しているわけではありません。
図1は、この違いを、断つ範囲の軸で並べたものです。
同じ1行が、会社によって違う範囲に効く
読者にとって大事なのは、同じ1行を書いたとき、どこまで断ったことになるかが、会社ごとに違うことです。「学習を断る」と「AIの回答に載る」は、別の話です。それなのに、Googleでは1つの指定に束ねられる予定とされています。
書かなければ「意思表示なし」で、User-agent: * では効かない
書けば、そのとおりに効くのでしょうか。共通の指定には、書き方のルールがあります。草案が定めているのは、次の点です。
まず、User-Agent: *のグループは、この指定に当てはめません。グループとは、robots.txtの中で、User-Agentの行から次のUser-Agentの行までのまとまりです。*は、すべてのクローラーを指す書き方なので、AIの学習への意思表示とは別に扱われます。
次に、この指定を含むグループが無ければ、意思表示なしになります。「断らなかった」ではなく、「何も言っていない」という扱いです。
会社ごとの指定は、そのまま残ります。ExampleBotのような名前を指定した行は引き続き確認され、Googleのブログにも、既存の指定は共通の指定と並んで機能する、と書かれています。
最後に、この指定はクロールの動作を指示するものではありません。個別の契約は、この仕組みで示した意思表示に優先しうる、という注意書きも付いています。
| 書き方 | 草案での扱い |
|---|---|
| 何も書かない | 意思表示なし。Microsoftは、何も書かなければ許可が既定と説明している |
| User-Agent: *だけ | この指定には当てはまらない。意思表示なし |
| 共通の名前で、Disallow: / | 学習に反対する意思表示。Googleでは、Google-Extendedの拒否と同じ扱いになる予定 |
IETF草案(draft-kelley-aipref-training-preference-signal-00)とGoogleのブログをもとに当社が整理しました。
2行目の「User-Agent: *だけ」は、当社のサイトでも、6つのうち3つがこの形でした。詳しくは、次の次の章で書きます。
もう1つの経路は、Cloudflareが本番のrobots.txtに行を足すこと
自分で書いた覚えがないのに、AIを断る行が入っていることはあるのでしょうか。あります。Cloudflareが足す場合です。
Cloudflareは、管理用のrobots.txtを、サイトにある既存のrobots.txtの前に足し、1つの応答にまとめて返します。サイトにrobots.txtが無ければ、既知のAIクローラーを拒否する新しいファイルを作ります。全プランで使える機能です。
新しいドメインでは、検索、エージェント、学習のどれも「許可」が既定で、その場合は何も足されません。Cloudflareが入れる既定のContent-Signalは、search=yes、ai-train=no、use=referenceです。
Content-Signalは、Cloudflareが提案した、サイトの意思表示を書く項目です。それぞれの意味を表にします。
| 項目 | 意味 | Cloudflareが入れる既定 |
|---|---|---|
| search | 検索の索引作成と、検索結果(リンクと短い抜粋)の提供。AIが生成する検索の要約は含まない | yes |
| ai-input | AIの回答のために、内容をモデルに入力すること。RAGやグラウンディングなど | 値を入れない |
| ai-train | AIモデルの学習と微調整 | no |
| use | 意味は当社で確認できていないため、ここでは書かない | reference |
Cloudflare Blog「Giving users choice with Cloudflare's new Content Signals Policy」とCloudflare Docsをもとに当社が整理しました。ai-inputは、管理用robots.txtの利用者には値を出さないと書かれています。
注意したいのは、ai-inputを入れない点です。回答の根拠に使うことについて、Cloudflareの既定の行は、何も言っていません。
一方で、同じ管理用のrobots.txtには、会社名を名指しで断る行も入ります。当社の2サイトでは、GoogleのGoogle-Extended、OpenAIのGPTBot、AnthropicのClaudeBotなど、32種類のクローラーが、Disallow: /で断られていました。
もう1つ、Cloudflareの説明で押さえておく点があります。robots.txtの順守は、任意です。強制したいときは、AI Crawl Controlという別の機能を使うよう案内されています。もう1つ、AI Crawler and Agent access policiesの設定で学習を「Disallow」にし、Bot Preference Syncを有効にすると、robots.txtに加えて、学習用のクローラーをCloudflareの入口でも遮断します。検索と学習の両方に使うクローラーは、この遮断から除かれます。設定の場所は、セキュリティ、設定、Bot trafficの順です。
Content Signalは、スクレイピングへの技術的な対抗手段ではない、とも書かれています。意思表示を書く場所で、止める道具ではありません。
中小企業の現場で見たこと
当社は、自分たちが管理するサイトで、本番のrobots.txtを確かめました。
2026年11月5日に、当社が作って管理している公開サイトのうち、robots.txtを返した6サイトを取得しました。自社のサイト、自社サービスのサイト、うちが作った飲食店のホームページです。
共通の指定を書いていたのは、0サイトでした。3サイトは、User-Agent: *とAllow: /だけです。1サイトは、当社のコーポレートサイトで、AIのクローラー9種を名指しで許可していました。残る2サイトは、うちが作った飲食店のホームページです。
この2サイトで、手元のファイルと本番が違いました。手元のファイルは、User-Agent: *、Allow: /、Sitemapの行だけです。ところが本番の先頭には、Cloudflareが足したブロックが付いていました。search=yes、ai-train=no、use=referenceのContent-Signalと、32種類のクローラーへのDisallow: /です。2サイトの中身は同じでした。
うちのサイト6つのうち、共通の指定を書いていたのは0
手元のファイルを見て「全部許可」と思っていたサイトが、本番では32種類を断っていました。誰がいつ設定をオンにしたかは、分かっていません。
32種類にはGoogle-Extendedが含まれています。Googleの説明どおりなら、この2サイトは、Geminiアプリの回答の根拠として載る対象から外れています。流入が減ったかどうかは、測っていないので書けません。
反対に、当社のコーポレートサイトは、AIのクローラー9種を名指しで許可しています。GPTBot、OAI-SearchBot、ChatGPT-User、PerplexityBot、ClaudeBot、Claude-Web、Google-Extended、Bingbot、CCBotです。Googleのブログの書き方なら、Google-Extendedを明示的に許可したサイトに当たります。
手元のファイルと、本番の中身が、同じとは限りません。見る場所を間違えると、判断の前提が崩れます。
自社サイトで決める順番は、本番を開いて、載るかと断るかを分ける
当社が見てほしいのは、次の順番です。作業は、ブラウザだけで済みます。
| 手順 | やること | 見るもの |
|---|---|---|
| 1 | ブラウザで、自社ドメインの末尾に/robots.txtを付けて開く | 手元のファイルではなく、本番の中身 |
| 2 | 「BEGIN Cloudflare Managed」の行があるかを探す | あれば、Cloudflareが足した行がある |
| 3 | 「AIの回答に載りたいか」と「AIの学習を断りたいか」を、分けて決める | 社内で、どちらを優先するか |
| 4 | 決めた結果を、robots.txtに書く | 下の例 |
| 5 | 2027年2月以降に、もう一度本番を開く | 各社の対応が始まったあとの中身 |
手順は当社の提案です。各社の対応の日付は、Bing BlogとGoogle Search Central Blogによります。
手順3の決め方で、書く行が変わる
3つ目の手順が、いちばん大事です。ここで決めるのは、技術ではなく、会社の方針です。
AIの回答に載りたい会社は、Google-Extendedを断りません。Googleのブログでは、明示的に許可したサイトが、Geminiアプリの回答の根拠に載ると書かれています。次のような、名指しの許可の書き方があります。
User-agent: Google-Extended Allow: /
学習を断りたい会社は、共通の名前を書きます。サイト全体を断るなら、次の2行です。
User-Agent: __usage_ai-training Disallow: /
ここで、Googleについて覚えておきたいことがあります。この2行は、Google-Extendedの拒否と同じに扱われる予定で、その範囲は学習と回答の根拠付けの両方です。学習だけを断るつもりで書いても、Geminiの回答に載る道まで閉じる可能性があります。分けて決めるのは、書く前です。
一部のページだけ扱いを変えたいときは、パスを指定します。例えば、プレスキットのページだけ開けたいときは、Disallow: /に、Allow: /press-kit/を足します。
手順5の日付は、図3のとおり
各社の対応が始まるのは、2027年です。図3に、確認できた日付を並べます。図の「旧指定」は、NoArchiveとNoCacheのことです。12月15日の移行用設定は、このどちらかを使っているサイトが対象です。
各社の対応は2027年に始まる
Googleは、2027年の早い時期と書いていて、日付は示していません。そのため、手順5は「2027年2月以降」とし、Googleのブログと、Bing Blogを、見直しのたびに開き直します。
AIの回答にどう載るかを一緒に整理したい方は、無料相談からどうぞ。
よくある失敗は、手元のファイルを見て決めてしまうこと
ここまでの内容から、避けたい失敗を4つ挙げます。
1. 手元のファイルだけ見て、判断する
Cloudflareは、既存のrobots.txtの前に、管理用の行を足して1つの応答にまとめます。手元のファイルが「Allow: /」だけでも、本番は違うことがあります。当社の2サイトが、実際にそうでした。判断の材料は、ブラウザで開いた本番の中身にします。
2. User-agent: *にDisallow: /を書いて、AIだけ止めたつもりになる
*は、すべてのクローラーを指すので、Googleの検索のクローラーも含みます。しかも草案は、*のグループを共通の指定に当てはめないと定めています。つまり、AIの学習への意思表示としては数えられない扱いです。
Googleは、Google-Extendedが検索への掲載にも順位にも影響しないと説明しています。AIに向けた指定と、検索に向けた指定は、別のものです。AIだけを止めたいなら、共通の名前かGoogle-Extendedの行を、名指しで書きます。
3. 学習だけを断るつもりで、Google-Extendedを拒否する
Google-Extendedが対象にするのは、学習とグラウンディングの両方です。Googleのブログによれば、明示的に許可したサイトは、Geminiアプリの回答に根拠として載り、クリックを受ける対象になります。拒否は、Geminiアプリの回答の根拠に使うことも断る意思表示になります。
当社の2サイトでは、Cloudflareの行の中に、Google-Extendedが入っていました。手元のファイルに書いていなくても、本番では同じことが起きる場合があります。
4. 書けば守られると思う
robots.txtの順守は、各社の対応に任されています。Cloudflareも、順守は任意だと書いています。草案では、この指定は、クロールの動作を指示するものとは別物です。個別の契約が優先しうる、という注意書きも付いています。
以前の記事で、AIボットを名乗る偽のアクセスを調べました。robots.txtが防御にならない話は、AIボットを名乗る偽アクセスの記事にまとめています。止めたいものがあるなら、robots.txtとは別の手段が要ります。
AIの学習を断る行は、方針を表す札です。札の中身を、本番で確かめてください。確認や設計を一緒に進めたい方は、無料相談でも受けています。
よくある質問
共通の指定は、いつから効きますか?
Microsoftは2027年2月1日から、新しい指定をクロールのときに尊重し始めると書いています。Googleは2027年の早い時期に対応する予定で、日付は決まっていません。Googleは、他のAI事業者とともに2027年の対応を目指すとも書いています。いずれも提案段階の草案に基づく話で、IETFが承認した標準ではありません。
書かなければ、学習に使われるのですか?
書かなければ「意思表示なし」です。草案は、この指定を含むグループが無ければ、意思表示が無いものとして扱います。Microsoftの説明では、何も書かなければ許可が既定です。実際に学習に使われるかどうかは、各社の対応と、個別の契約が決めます。
Google検索の順位は下がりますか?
Googleは、Google-Extendedが検索への掲載に影響せず、検索順位の要素にもならないと説明しています。Bingも、通常の検索結果に載る資格は変わらないと書いています。ただし、Bingで拒否を選ぶと、AIが生成する体験での露出は大きく減る、という説明です。
AI Overviewsはどうなりますか?
Googleの今回の発表は、AI Overviewsに触れていません。どうなるかは、こちらでは推測しません。Googleの発表が更新されたら、そこを確かめてください。
Cloudflareが足した行は、消すべきですか?
消すべきかどうかは、AIの回答に載りたいか、学習を断りたいかで決まります。どちらが正解とは言えません。まず本番のrobots.txtを開いて、何が足されているかを確かめるところから始めます。
OpenAIやAnthropicは、いつから対応しますか?
草案の著者のKevin Kelley氏は、Anthropic所属です。ただし、Anthropicが対応する時期は、今回確認した資料に書かれていません。OpenAIは、公式の発表ページを執筆時に確認できなかったので、時期は書きません。
まとめ
AIの学習を断る1行は、会社によって、効く範囲が違います。Googleでは回答の根拠まで、Microsoftでは学習だけです。
決める順番は3つです。1つ目は、ブラウザで、本番のrobots.txtを開くこと。2つ目は、AIの回答に載りたいか、学習を断りたいかを、分けて決めること。3つ目は、2027年2月以降に、もう一度本番を開き直すことです。
今日、自社のドメインの末尾に/robots.txtを付けて開いてください。「BEGIN Cloudflare Managed」の行があるかを探すのが、最初の1分の仕事です。
なお、この記事は公開資料の読み解きで、法的な助言ではありません。個別の判断は、各社の発表の原本で確かめてください。
自社サイトのAIへの意思表示を、本番で確かめます。
エンジニアが御社の現場に入り、robots.txtの中身と、AIの回答に載りたいかどうかの方針を、一緒に整理する伴走支援です。8問の無料AI診断で現在地もわかります。
無料で相談する・Google Search Central Blog「Supporting a shared AI training control for websites」(2026年10月30日)
・Google for Developers「Google's common crawlers」
・Bing Blog「Your content, your choice: clearer preferences for training and grounding」(2026年10月30日)
・IETF「draft-kelley-aipref-training-preference-signal-00 - Machine-Readable Training Preference Signal」(2026年10月30日)
・Cloudflare Docs「robots.txt setting」(2026年11月2日更新)
・Cloudflare Docs「AI Crawler and Agent access policies」(2026年11月2日更新)
・Cloudflare Blog「Giving users choice with Cloudflare's new Content Signals Policy」
・あわせて読む:AIボットを名乗る偽アクセスの記事
