Cloudflare、認証済みボットのrobots.txt遵守を継続評価する仕組みを公開

何が発表されたか

• Cloudflareは2026年10月16日、Verified Bots として認証したボットを認証後も継続的に再検証する取り組みを公開した。身元の確認だけでは信頼は成立しないという考え方に基づくとしている。
• 評価に使う主なシグナル
  • robots.txt: 公開されたルールとボットの実際のトラフィックが一致しているか。単発の違反ではなく、繰り返されるパターンを見る。
  • HTTP 429: 429 を返した後に速度を落とす／止めるか、同じペースで要求を続けるか。一貫して引けば信頼度が上がり、無視し続ければ下がる。
  • 初期のシグナルとして、指示に従うか、直接のフィードバックに反応するかも見る。
• 結果は「説明可能な信頼度バンド（explainable trust band）」として示され、どの観測挙動が評価の根拠になったかも分かる形にするとしている。ボットや運営者に対する恒久的な判定ではないと明記している。
• 現在は社内で運用する初期フェーズで、観測履歴を積み上げている段階。

集客・販売への影響

• Cloudflareは将来的に、この信頼度を Radar のボットディレクトリで公開する計画を示している。どのAIクローラーがサイトの意向を守っているかを、サイト側が外部から確認できるようになる。
• 全顧客への提供も計画しており、Verified Bots のトラフィックをどう扱うかを決める信頼度の閾値を顧客側で選べるようにするとしている。robots.txt を無視するクローラーだけを絞る運用が取りやすくなる。
• robots.txt での制御が「書いても守られるか分からない」状態から、遵守状況が観測・公開される前提に変わる方向。AI検索への露出をどこまで許すかという判断を、実データを見ながら決めやすくなる。
• 一方で、Radar での公開時期と顧客提供の時期は示されていない。現時点で運用側の設定作業は発生しない。