2026年10月30日、Google、Microsoft、OpenAI の3社が、robots.txt に書く共通の1行を「AI学習に使わないでほしい」という意思表示として読む方針をそれぞれ発表しました。同じ日、この仕組みの草案を書いた Anthropic の Kevin Kelley 氏も、IETF のメーリングリストで Anthropic が対応の実装を始めたと書いています。
パブリッシャーは、AI 企業ごとにクローラー名を調べて書き分ける手間から解放されます。ただし対象は学習だけで、AI の回答に記事を使う「グラウンディング」の扱いや、利用の対価は手つかずのままです。
関連記事
・IABが「AI Accountability for Publishers Act」を発表 ── AIスクレイピングからパブリッシャーを守る画期的法案の全容
・AIライセンシングはなぜ機能しないのか。パブリッシャーとAIが共存できる構造を考える
・IABがAIクローラーの”有料化”規格CoMP v1.0を公開･･･ゼロクリック検索時代への対抗策を提案
robots.txt の User-Agent 行に、クローラー名の代わりに用途を表す名前を書く仕組みです。草案はこの名前を「ポリシートークン」と呼んでいます。
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/この例は「/press-kit/ 以外のページはAI学習に使わないでほしい。/press-kit/ は使ってよい」という意味になります。新しい命令や文法は足していないため、対応していないクローラーにとっては、知らない名前のグループが1つ増えるだけの話。
学習の定義は、IETF の AI Preferences ワーキンググループ（AIPREF）がまとめた語彙の草案（draft-ietf-aipref-vocab-08）から借りています。定義は「生成AIモデルの学習済みパラメータを変える利用」。分類やランキング、スコアリングにだけ使うモデルの学習は含みません。
位置づけには注意が要ります。この文書は Kelley 氏が個人として提出した Internet-Draft で、ワーキンググループの正式な文書ではありません。2027年5月3日に失効し、それまでに改訂版が出なければ効力を失います。
| 4社の対応時期と草案の期限 | |
| 2026年10月30日 | 起点 Google・Microsoft・OpenAI の3社が方針を発表。Anthropic の起草者もメーリングリストで実装開始を表明 |
| 日付なし Anthropic | 実装開始・完了時期は未提示 IETF メーリングリストでの起草者の書き込み |
| 日付なし OpenAI | 「今後数か月以内」を目指す 2026年10月30日時点の表明。日付は示していない |
| 2027年2月1日 | Microsoft が反映を開始 クロールした順に反映。日付を示したのは4社でここだけ |
| 日付なし | 「2027年」または「2027年早期」 ブログは「2027年」、クローラーの説明文書は「2027年早期」。月日は示していない |
| 2027年5月3日 | 草案が失効 改訂版が出なければ効力を失う |
| 出典: Google Search Central Blog、Microsoft Bing Blogs、OpenAI、IETF（いずれも2026-10-30 の公式発表・投稿） | |
日付まで約束したのは Microsoft だけです。
これまで学習を断るには、OpenAI の GPTBot、Anthropic の ClaudeBot、Google の Google-Extended というように、企業ごとの名前を robots.txt に並べる必要がありました。OpenAI は発表文で、運営者がクローラーを個別に識別し、提供企業ごとにルールを管理しなければならなかったと認めています。
Google は発表の中で、EU の AI 法に基づく汎用AIモデル提供者向けの行動規範（Code of Practice）に触れています。この規範で robots.txt は、機械が読める形で意思を示す主な手段という扱いです。規制の要請に業界が共通の書き方で応えた、という面もあるのでしょう。
同じ1行でも、読み取ったあとの扱いは会社ごとに違います。差が大きいのは、学習とグラウンディングを分けるかどうかです。
Microsoft は共通トークンに加えて、ページ単位の設定を2つ用意しました。1つは学習の設定で、meta タグか HTTP ヘッダーで robots.txt の指定をページごとに上書きできます。もう1つがグラウンディングの設定で、Copilot や Microsoft 365 などの AI 回答に記事を使ってよいかを決めます。
グラウンディングの選択肢は次の3段階。
どの設定でも Bing の通常の検索結果への掲載には影響しない、と Microsoft は説明しています。一方で、グラウンディングを断ると AI 体験の中でのブランドの露出は減ると明記しました。どちらを選んでも掲載・流入・支払いは保証されず、ライセンスや支払いの取り決めを作るものでもない、とも書いています。
Google の方針は、共通トークンで学習を断り、Google-Extended を明示していないサイトを「Google-Extended を Disallow した」とみなす、というものです。
問題は Google-Extended が制御する範囲の広さにあります。Google のクローラー説明文書によると、対象は Gemini モデルの学習だけではありません。Gemini アプリと Vertex AI のグラウンディングも含まれます。共通トークンで学習を断るだけで、Gemini の回答で引用される機会まで失うわけです。
Gemini アプリのグラウンディングに残りたいなら、Google-Extended を明示的に Allow する。これが Google の示した答えです。ブログにも、Google-Extended を明示的に許可したサイトはグラウンディング経由で回答に表示され、クリックを得られるとあります。なお Google 検索への掲載とランキングには、Google-Extended は影響しないと Google は説明しています。
| 仕組み | AI学習 | AI回答への利用（グラウンディング・RAG） | 対価 |
|---|---|---|---|
| AIPREF 共通トークン | 拒否・許可を表明できる | 対象外 | なし |
| Microsoft の独自設定 | ページ単位で上書きできる | ページ単位で3段階 | なし |
| Google-Extended | 拒否・許可を表明できる | 学習と同じ設定で連動 | なし |
| RSL 1.0 | ai-train で条件を付けられる | ai-input で条件を付けられる | ライセンスで設定 |
RSL（Really Simple Licensing）は、2025年12月10日に1.0版が公開されたライセンス記述の規格です。ai-train は学習とファインチューニング、ai-input は RAG やグラウンディングなど回答を作るための入力を指します。
今回の合意は、パブリッシャーにとって前進です。大手4社が「サイト側の意思を機械で読み取って尊重する」方向にそろって動きました。Microsoft が学習と回答への利用を分けて選べるようにしたことで、この2つは別物だという認識も業界で共有され始めています。
それでも、収益の面では課題が残ると筆者は見ています。
1つ目は対象が学習に限られる点です。パブリッシャーの収益に直結するのは、AI 検索やエージェントが回答のたびにページを読みに来る利用のほうだと筆者は考えています。AIPREF が学習に絞ったことで、RAG やエージェントによる利用の収益化は、RSL のようなライセンス規格や TollBit などのマーケットプレイスが担う領域だとかえって明確になりました。
2つ目は、意思表示ができても対価は生まれない点です。Allow と書けば、事実上は無償で許諾したことになります。草案は強制力を持たず、個別の契約で上書きしてよいとも書いています（4.5節）。OpenAI も今回の対応を自主的な取り組みと呼んでいます。もともと robots.txt を守らないボットにも効きません。
3つ目は Google の設計です。学習を断ると Gemini での引用まで失う仕組みは、拒否する側に不利に働きます。各社がそろって断ることで交渉力を持とうとする動きがあっても、Google の流入を失いたくないサイトから足並みが崩れるでしょう。
「原則は拒否し、ライセンスを結んだ相手にだけ許す」という形は、草案が個別契約での上書きを認めたことでむしろ作りやすくなりました。逆に、大手が無償の可否シグナルを「これで十分」として標準扱いすると、ライセンス導入を急ぐ理由は弱まります。AIPREF の学習の定義（生成モデルのパラメータを変える利用）と、RSL の ai-train・ai-input の区分をどう対応させるかは、IETF の議論の中でパブリッシャー側から詰めていく必要があります。
AI 企業とのライセンス契約がなぜ広がりにくいのかは、「AIライセンシングはなぜ機能しないのか。パブリッシャーとAIが共存できる構造を考える」で整理しました。
User-agent: * は学習の意思表示にならない。 草案は、ワイルドカードのグループを共通トークンに当てはめてはならないと定めています。学習を断るなら __usage_ai-training のグループを明記します| Microsoft の移行カレンダー（NoArchive・NoCache を使うサイト向け） | |
| 2026年12月15日 | 一時的なグラウンディング設定が開く Bing Webmaster Tools で登録できる。対象は、この日時点で NoArchive・NoCache を使っているサイトだけ |
| 2027年2月1日 | 新しい設定の反映が始まる クロールした順に反映 |
| 2027年3月1日 期限 | NoArchive・NoCache を意思表示として読まなくなる これ以降、学習・グラウンディングの意思表示としては扱われない |
| 2027年9月30日 | 一時設定が失効 |
| 出典: Microsoft Bing Blogs「Your content, your choice」（2026-10-30） | |
__usage_ai-training への対応を発表し、Anthropic も起草者を通じて実装開始を表明した1行で断れるようになったことと、AI に使われて対価を得られることは別の話です。robots.txt の見直しと同時に、ライセンスで条件を示す準備も進めておきたいところです。