Google、AIクローラー向けrobots.txtの書き方を動画で解説

何が発表されたか

• Google の Gary Illyes 氏と Cherry Prommawin 氏が、シリーズ「Non-Canonical Cabinet」第2弾として「What can you actually put in a robots.txt?」を公開（10月21日）。
• robots.txt の性質: あくまで「アクセス優先度のプロトコル」。ボットがページをクロールしてよいかを伝えるだけで、既にクロールされたコンテンツの扱いは制御できない。セキュリティ機構ではなく、遵守するボットが従うことに依存する。
• AIクローラーの制御: 止めたいAIクローラーがあれば、その固有のユーザーエージェントトークンを名指しで書く必要がある。独自に考えた名前のカスタムルールは無視される。
• 絵文字: ユーザーエージェントトークンに使えるのは英字とハイフンのみ。絵文字トークンは機能しない。ルールのパスに絵文字を含める場合はパーセントエンコードする。
• 国際化URL: ドイツ語のウムラウトや中国語などの非英語文字もユーザーエージェントトークンには無効。パスはパーセントエンコード形式で書くことで、全クローラーが同じ解釈をする。
• パーサーの挙動: Googleのパーサーは1行ずつ読み、理解できない行を警告なしに破棄する。書式を間違えたルールは黙って無効になり、ブロックしたつもりのコンテンツがクロールされ得る。
• # で始まる行はコメントとして無視。ファイルは RFC 9309 に従うべきとしている。

実務への影響

• 「AI学習をブロックしてほしい」という要望に対して User-agent: AI のような雑なルールを書いても一切効かない。GPTBot、ClaudeBot、Google-Extended など各社のトークンを一覧化し、個別に記述する運用に切り替える必要がある。
• 日本語サイトでディレクトリ名に日本語を使っている場合は要注意。Disallow: /製品/ のような記述はパーセントエンコード（/%E8%A3%BD%E5%93%81/）にしないと、クローラーによって解釈が分かれる。日本語URLを使っているサイトは一度棚卸しすべき。
• 書式ミスが無警告で破棄される仕様なので、robots.txt を納品物に含めるなら Search Console の robots.txt レポートでの検証を工程に入れておきたい。
• 「robots.txt はセキュリティではない」とGoogleが明言した点は、クライアントへの説明に使える。非公開コンテンツは認証で守る、という当然の線引きを改めて伝える材料になる。

補足

Googleの公式動画をSearch Engine Roundtableが報じたもの。本稿はその報道を一次資料として参照しており、Google公式ブログ・ドキュメント上での同内容の文書化は未確認。