
Cloudflare、検索は維持したままAI学習だけ拒否できる設定を追加
CloudflareAIクローラーSEOrobots.txtコンテンツ保護
Cloudflareが、サイト運営者がAI学習用クロールだけを拒否しつつ検索インデックスには載り続けられる「Disallow AI Training」を提供開始した。クロールの用途を検索・学習・エージェントの3つに分けて制御でき、robots.txtに意思表示を出力する。全プラン・全顧客が対象で、既存設定は自動で移行される。
何が発表されたか
Cloudflareが2026年9月15日、サイト運営者向けの新しいクロール制御「Disallow AI Training」を発表した。これまでは「検索に載る」か「AI学習を拒否する」かの二者択一になりがちだった状況を分離するものだという。
発表された仕組みは次のとおり。
- クローラーの挙動を Search(検索インデックスの構築)/Training(モデルの学習・ファインチューニング)/Agent(チャットボットなどユーザー起点のエージェント) の3つに分けて制御できる。
- 「Disallow AI Training」を選ぶと、該当する学習拒否の意思表示が robots.txt に出力される。
- Applebot、Googlebot、Bingbot(Apple・Google・Microsoft)は、オプトアウト手段やURL単位でのコンテンツ利用状況の可視化など4つの要件を満たす、あるいは満たすことを表明しているとして「Accountable(説明責任を果たす)」に分類されている。
- 設定はダッシュボードのドメイン単位のSecurity Settingsから行う。
- 全プラン・全顧客が対象で、無料プランも含まれる。
多くのサイトでは特に作業は不要で、既存の設定は新方式へ自動的に移行される。完全にブロックしたい場合のみ、明示的に「Block」を選ぶ必要がある。
集客・販売への影響
これまでAIクローラーを一括で弾くと、同じ事業者が運用する検索クローラーまで巻き込んで検索流入を落とすリスクがあった。用途別に分けられるようになったことで、「検索とAI検索の引用には出したいが、モデルの学習素材にはしたくない」という運用が現実的な選択肢になる。
実務上の判断ポイントは、AI経由の露出をどう評価するかだ。AI検索やチャットからの参照を集客経路として重視するなら Agent は許可したまま Training だけ拒否する、という組み合わせになる。逆に、独自調査やノウハウ記事を資産として守りたいメディアやBtoB企業では、Training の拒否を優先する判断もありうる。
クライアントサイトをCloudflareで運用している制作会社は、既存設定が自動移行された結果が意図どおりか、ドメインごとに一度確認しておきたい。設定変更はサイト側の実装を伴わないため、確認と選択だけで完結する。
