Cloudflareは2026年9月15日、ウェブサイトのコンテンツがAIの学習に利用されるのを防ぎつつ、検索エンジンへのインデックス登録は維持できる新しい設定「Disallow AI Training」を発表しました。これにより、検索とAI学習の両方の目的を持つクローラーに対し、用途に応じた個別の制御が可能になります。
検索とAI学習のトレードオフを解消
これまで、検索エンジンとAI学習の両方の目的でサイトを巡回する「混合型クローラー」に対し、サイト運営者は難しい選択を迫られてきました。学習を拒否すれば検索結果からも消えてしまうリスクがあり、検索を許可すればAIの学習にも利用されてしまうという問題です。
Cloudflareが導入する「Disallow AI Training」は、このトレードオフを解消します。この設定を有効にすると、Apple、Google、Microsoftなどの「Accountable（説明責任を果たす）」と定義されたクローラーに対し、検索への利用は許可したまま、AI学習への利用のみを拒否する指示を出すことができます。
制御の仕組みと対象範囲
この機能は、robots.txtを通じて拒否の意思表示を公開することで動作します。既存の「Block（ブロック）」設定は、混合型クローラーを完全に遮断するため、検索結果への影響も避けられなくなりますが、新しい設定では学習目的の通信のみを識別して制限します。
対象となるのは、検索（Search）、学習（Training）、エージェント（Agent）の3つの行動に分類されたクローラーです。なお、Amazon、Anthropic、Meta、OpenAIなどが運用する学習専用のクローラーについても、この設定によってブロックされます。