AI学習拒否がrobots.txtの1行に 4社の共通トークンで何が変わるか

By /

2026年10月30日、Google、Microsoft、OpenAI の3社が、robots.txt に書く共通の1行を「AI学習に使わないでほしい」という意思表示として読む方針をそれぞれ発表しました。同じ日、この仕組みの草案を書いた Anthropic の Kevin Kelley 氏も、IETF のメーリングリストで Anthropic が対応の実装を始めたと書いています。

パブリッシャーは、AI 企業ごとにクローラー名を調べて書き分ける手間から解放されます。ただし対象は学習だけで、AI の回答に記事を使う「グラウンディング」の扱いや、利用の対価は手つかずのままです。

関連記事
・IABが「AI Accountability for Publishers Act」を発表 ── AIスクレイピングからパブリッシャーを守る画期的法案の全容
・AIライセンシングはなぜ機能しないのか。パブリッシャーとAIが共存できる構造を考える
・IABがAIクローラーの”有料化”規格CoMP v1.0を公開･･･ゼロクリック検索時代への対抗策を提案

共通トークン「__usage_ai-training」とは

robots.txt の User-Agent 行に、クローラー名の代わりに用途を表す名前を書く仕組みです。草案はこの名前を「ポリシートークン」と呼んでいます。

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

この例は「/press-kit/ 以外のページはAI学習に使わないでほしい。/press-kit/ は使ってよい」という意味になります。新しい命令や文法は足していないため、対応していないクローラーにとっては、知らない名前のグループが1つ増えるだけの話。

学習の定義は、IETF の AI Preferences ワーキンググループ（AIPREF）がまとめた語彙の草案（draft-ietf-aipref-vocab-08）から借りています。定義は「生成AIモデルの学習済みパラメータを変える利用」。分類やランキング、スコアリングにだけ使うモデルの学習は含みません。

位置づけには注意が要ります。この文書は Kelley 氏が個人として提出した Internet-Draft で、ワーキンググループの正式な文書ではありません。2027年5月3日に失効し、それまでに改訂版が出なければ効力を失います。

4社の対応時期はそろっていない

4社の対応時期と草案の期限
2026年10月30日 起点
Google・Microsoft・OpenAI の3社が方針を発表。Anthropic の起草者もメーリングリストで実装開始を表明
日付なし
Anthropic		 実装開始・完了時期は未提示
IETF メーリングリストでの起草者の書き込み
日付なし
OpenAI		 「今後数か月以内」を目指す
2026年10月30日時点の表明。日付は示していない
2027年2月1日 Microsoft が反映を開始
クロールした順に反映。日付を示したのは4社でここだけ
日付なし
Google		 「2027年」または「2027年早期」
ブログは「2027年」、クローラーの説明文書は「2027年早期」。月日は示していない
2027年5月3日 草案が失効
改訂版が出なければ効力を失う
出典: Google Search Central Blog、Microsoft Bing Blogs、OpenAI、IETF（いずれも2026-10-30 の公式発表・投稿）

日付まで約束したのは Microsoft だけです。

背景：AI企業ごとに書き分ける負担

これまで学習を断るには、OpenAI の GPTBot、Anthropic の ClaudeBot、Google の Google-Extended というように、企業ごとの名前を robots.txt に並べる必要がありました。OpenAI は発表文で、運営者がクローラーを個別に識別し、提供企業ごとにルールを管理しなければならなかったと認めています。

Google は発表の中で、EU の AI 法に基づく汎用AIモデル提供者向けの行動規範（Code of Practice）に触れています。この規範で robots.txt は、機械が読める形で意思を示す主な手段という扱いです。規制の要請に業界が共通の書き方で応えた、という面もあるのでしょう。

Google と Microsoft で「拒否」の中身が違う

同じ1行でも、読み取ったあとの扱いは会社ごとに違います。差が大きいのは、学習とグラウンディングを分けるかどうかです。

Microsoft は学習とグラウンディングを分けた

Microsoft は共通トークンに加えて、ページ単位の設定を2つ用意しました。1つは学習の設定で、meta タグか HTTP ヘッダーで robots.txt の指定をページごとに上書きできます。もう1つがグラウンディングの設定で、Copilot や Microsoft 365 などの AI 回答に記事を使ってよいかを決めます。

グラウンディングの選択肢は次の3段階。

  • Allow（既定）：使ってよい
  • DisallowExtended：Microsoft 自身のサービスでは使ってよいが、Web IQ や Foundry の API など他社向けのグラウンディングサービスでは使わない
  • Disallow：使わない

どの設定でも Bing の通常の検索結果への掲載には影響しない、と Microsoft は説明しています。一方で、グラウンディングを断ると AI 体験の中でのブランドの露出は減ると明記しました。どちらを選んでも掲載・流入・支払いは保証されず、ライセンスや支払いの取り決めを作るものでもない、とも書いています。

Google は学習とグラウンディングを連動させた

Google の方針は、共通トークンで学習を断り、Google-Extended を明示していないサイトを「Google-Extended を Disallow した」とみなす、というものです。

問題は Google-Extended が制御する範囲の広さにあります。Google のクローラー説明文書によると、対象は Gemini モデルの学習だけではありません。Gemini アプリと Vertex AI のグラウンディングも含まれます。共通トークンで学習を断るだけで、Gemini の回答で引用される機会まで失うわけです。

Gemini アプリのグラウンディングに残りたいなら、Google-Extended を明示的に Allow する。これが Google の示した答えです。ブログにも、Google-Extended を明示的に許可したサイトはグラウンディング経由で回答に表示され、クリックを得られるとあります。なお Google 検索への掲載とランキングには、Google-Extended は影響しないと Google は説明しています。

3つの仕組みを並べると

仕組み AI学習 AI回答への利用（グラウンディング・RAG） 対価
AIPREF 共通トークン 拒否・許可を表明できる 対象外 なし
Microsoft の独自設定 ページ単位で上書きできる ページ単位で3段階 なし
Google-Extended 拒否・許可を表明できる 学習と同じ設定で連動 なし
RSL 1.0 ai-train で条件を付けられる ai-input で条件を付けられる ライセンスで設定

RSL（Really Simple Licensing）は、2025年12月10日に1.0版が公開されたライセンス記述の規格です。ai-train は学習とファインチューニング、ai-input は RAG やグラウンディングなど回答を作るための入力を指します。

筆者の見解：拒否は言えるようになったが、対価は生まれない

今回の合意は、パブリッシャーにとって前進です。大手4社が「サイト側の意思を機械で読み取って尊重する」方向にそろって動きました。Microsoft が学習と回答への利用を分けて選べるようにしたことで、この2つは別物だという認識も業界で共有され始めています。

それでも、収益の面では課題が残ると筆者は見ています。

1つ目は対象が学習に限られる点です。パブリッシャーの収益に直結するのは、AI 検索やエージェントが回答のたびにページを読みに来る利用のほうだと筆者は考えています。AIPREF が学習に絞ったことで、RAG やエージェントによる利用の収益化は、RSL のようなライセンス規格や TollBit などのマーケットプレイスが担う領域だとかえって明確になりました。

2つ目は、意思表示ができても対価は生まれない点です。Allow と書けば、事実上は無償で許諾したことになります。草案は強制力を持たず、個別の契約で上書きしてよいとも書いています（4.5節）。OpenAI も今回の対応を自主的な取り組みと呼んでいます。もともと robots.txt を守らないボットにも効きません。

3つ目は Google の設計です。学習を断ると Gemini での引用まで失う仕組みは、拒否する側に不利に働きます。各社がそろって断ることで交渉力を持とうとする動きがあっても、Google の流入を失いたくないサイトから足並みが崩れるでしょう。

「原則は拒否し、ライセンスを結んだ相手にだけ許す」という形は、草案が個別契約での上書きを認めたことでむしろ作りやすくなりました。逆に、大手が無償の可否シグナルを「これで十分」として標準扱いすると、ライセンス導入を急ぐ理由は弱まります。AIPREF の学習の定義（生成モデルのパラメータを変える利用）と、RSL の ai-train・ai-input の区分をどう対応させるかは、IETF の議論の中でパブリッシャー側から詰めていく必要があります。

AI 企業とのライセンス契約がなぜ広がりにくいのかは、「AIライセンシングはなぜ機能しないのか。パブリッシャーとAIが共存できる構造を考える」で整理しました。

パブリッシャーが今やること

  1. 既存の User-agent: * は学習の意思表示にならない。 草案は、ワイルドカードのグループを共通トークンに当てはめてはならないと定めています。学習を断るなら __usage_ai-training のグループを明記します
  2. 何も書かなければ「意思表示なし」。 Microsoft は設定がなければ学習もグラウンディングも Allow として扱います
  3. Gemini での引用を残すかを決める。 残すなら Google-Extended を明示的に Allow し、共通トークンとは別に書きます
  4. NoArchive・NoCache を使っているサイトは期限がある。 Bing は2027年3月1日以降、この2つを学習・グラウンディングの意思表示として読みません。グラウンディングを断り続けるには、それまでにページ単位の設定を公開し、2026年12月15日に開く Bing Webmaster Tools の一時設定にも登録します。一時設定は2027年9月30日に失効します
  5. AI 回答への利用はライセンスで条件を示す。 共通トークンが扱わない RAG やエージェントでの利用は、RSL での条件表示やマーケットプレイスでの価格設定で手当てします
Microsoft の移行カレンダー（NoArchive・NoCache を使うサイト向け）
2026年12月15日 一時的なグラウンディング設定が開く
Bing Webmaster Tools で登録できる。対象は、この日時点で NoArchive・NoCache を使っているサイトだけ
2027年2月1日 新しい設定の反映が始まる
クロールした順に反映
2027年3月1日
期限		 NoArchive・NoCache を意思表示として読まなくなる
これ以降、学習・グラウンディングの意思表示としては扱われない
2027年9月30日 一時設定が失効
出典: Microsoft Bing Blogs「Your content, your choice」（2026-10-30）

まとめ

  • 2026年10月30日、Google・Microsoft・OpenAI が共通トークン __usage_ai-training への対応を発表し、Anthropic も起草者を通じて実装開始を表明した
  • 対応時期はばらばらで、日付を示したのは Microsoft（2027年2月1日）だけ。草案は個人提出の段階で、2027年5月3日に失効する
  • Microsoft は学習と回答への利用を分けたが、Google は Google-Extended を通じて両者を連動させた
  • 対象は学習だけで、対価も強制力もない。AI 回答への利用の収益化は、引き続きライセンスとマーケットプレイスの領域になる

1行で断れるようになったことと、AI に使われて対価を得られることは別の話です。robots.txt の見直しと同時に、ライセンスで条件を示す準備も進めておきたいところです。

関連記事

参考記事

コメントを残す

上部へスクロール