AIクローラー対策:GPTBot、ClaudeBot、OAI-SearchBotなどを正しく制御する方法

要点: AIクローラーは3種類あります。検索クローラー(OAI-SearchBot、Claude-SearchBot、PerplexityBot)は、ChatGPT・Claude・Perplexityがあなたのページを見つけて引用できるかを決めます。学習クローラー(GPTBot、ClaudeBot、CCBot)と制御トークン(Google-Extended、Applebot-Extended)は、コンテンツが将来のモデルの学習に使われるかを決めます。ユーザーフェッチャー(ChatGPT-User、Claude-User、Perplexity-User)は、誰かがそのページについて質問したときに訪れます。AIの回答に表示されたいなら検索クローラーを許可し、学習の可否は別に判断してください。そしてファイアウォールも確認しましょう。robots.txtが「allow」でも、CDNのルールがすべてをブロックしていることがあります。

あるサイト運営者が、学習データに使われないようGPTBotにDisallow: /を追加し、これで完了だと考えました。ところがCDNのボット対策がすべてのAIユーザーエージェントに403を返しており、ChatGPT検索もClaudeもPerplexityもサイトをまったく見られていません。逆のケースもあります。robots.txtでAI関連をすべてブロックした結果、回答で自社を引用してくれたはずの検索クローラーまで締め出してしまうのです。

どちらの失敗も、「AIクローラー」を一括りに考えたことが原因です。実際には別物で、各社がボットを個別に文書化しています。本記事では、どのクローラーが何をするのか、クローラーが実際にコンテンツを取得できるかを決める3つのレイヤー、無料のAIクローラーチェッカーでの検査方法、そして報告されうる各問題の直し方を解説します。

AIクローラーの3つの種類

主要なAIプロバイダーは現在、目的別にボットを分けています。以下の表は、2026年10月時点の各社の公式ドキュメントに基づいています。

出典:OpenAI、Anthropic、Perplexity、Google、Apple、Common Crawl。

これらのドキュメントには、ルールの書き方に影響する3つのポイントがあります。

• GoogleのAI機能はGooglebotで動いています。 AI OverviewsとAIモードは通常の検索インデックスを使います。Googleによると、ページがインデックスされ、スニペット付きで表示できる状態であればよく、追加の技術要件はありません(AI features and your website)。Google-Extendedは「サイトのGoogle検索への掲載には影響せず、ランキングシグナルとしても使われません」。ブロックするのは学習とGeminiのグラウンディングに関する判断であり、検索に関する判断ではありません。
• ApplebotはGooglebotのルールにフォールバックします。 Appleによると、robots.txtにApplebotの記述がなくGooglebotの記述がある場合、ApplebotはGooglebotの指示に従います。そのため、Googlebotだけをブロックすると、Siri、Spotlight、Safariの候補表示からも見えなくなります。
• 変更はすぐには反映されません。 OpenAIによると、robots.txtを更新してからOAI-SearchBotが調整されるまで約24時間かかることがあり、Perplexityでも最大24時間とされています。

AIクローラーへのアクセスが重要な理由

アシスタントは、読み取れたページしか引用できません。OAI-SearchBotが料金ページを取得できなければ、ChatGPT検索は「Xの料金はいくらか」という質問に、あなたについて書かれた他人のページ(リセラー、古いレビュー、競合の比較記事など)を使って答えることになります。ClaudeやPerplexityでも同じです。

学習の可否は別の問題で、唯一の正解はありません。有料コンテンツを守るために学習クローラーをブロックする出版社もあれば、将来のモデルに自社製品を知ってほしいとして許可するソフトウェア企業も多くあります。大切なのは、判断が意図的であること、そして検索クローラーまで巻き込まないことです。アクセスの先で何が起こるか、つまりアシスタントがどう情報源を選んで引用するかについては、生成エンジン最適化(GEO)のガイドで解説しています。

クローラーがコンテンツを取得できるかを決める3つのレイヤー

1. robots.txt

robots.txtは、行儀のよいクローラーが最初に読むファイルです。RFC 9309では、クローラーは自分のプロダクトトークンに一致するUser-agentのグループ(大文字小文字は区別しません)を探し、一致するすべてのグループを結合します。自分を名指しするグループがない場合に限り*のグループにフォールバックします。最も具体的なルール、つまり一致するパスが最長のルールが優先され、allowとdisallowの具体性が同じ場合はallowを使うべきとされています。

多くの予期せぬ結果は、このフォールバックから生じます。次の内容だけのファイルは、

User-agent: *
Disallow: /

すべてのAIクローラー、Googlebot、Bingbotをまとめてブロックします。GPTBotのグループと*のグループがあるファイルでは、GPTBotは自分のグループだけを参照し、*のルールは完全に無視します。重要なdisallowを*に書いている場合は注意が必要です。

2. ファイアウォール、CDN、ホスティング

リクエストは、robots.txtが参照される前に拒否されることがあります。ボット対策製品、WAF(Webアプリケーションファイアウォール)、一部のホスティングはユーザーエージェントを照合し、403を返したり、チャレンジページを表示したり、429でレート制限をかけたりします。Googleは、429や5xxのレスポンスがあるとクローラーが速度を落とすと説明しており(HTTP status codes and Google Search)、AIクローラーも同じ壁に直面します。

最も多いのはCloudflareのケースです。従来の「Block AI bots」設定は、Cloudflareのドキュメントで2026年9月15日に廃止予定とされており、AI学習目的のクロールと分類された認証済みボットをブロックしていました。これは、Search、Agent、Trainingという3つのプリセットを持つAIボットトラフィックポリシーに置き換えられました。各プリセットは、許可、全ページでブロック、広告を表示するページのみブロックから選べます(Cloudflare changelog)。2026年9月15日以降の新規ドメインでは、Cloudflareの既定で、広告を表示するページのTrainingとAgentのボットがブロックされ、Searchは許可のままです。また、検索と学習を兼ねるマルチ目的のクローラーはTrainingのブロックの影響を受けるとCloudflareは述べています。Agentプリセットの例にはチャットのフェッチボットが含まれるため、ChatGPT-Userのようなユーザー起点の取得を機能させたい場合はこの設定を確認してください。

3. レンダリング

クローラーが200のレスポンスを受け取っても、JavaScriptを実行するとは限りません。Vercelは2024年12月にネットワーク全体のAIクローラートラフィックを分析し、GPTBot、ClaudeBot、PerplexityBotを挙げて「現時点で主要なAIクローラーはどれもJavaScriptをレンダリングしない」と報告しました(The rise of the AI crawler)。テキストがクライアントサイドのアプリで挿入される場合、これらのクローラーには空の殻しか届きません。

SearviaのAIクローラーチェッカーの仕組み

AIクローラーチェッカーは、ウェブサイトSEOチェッカーと同じエンジンで動きます。ドメインまたはページのURLを入力すると、そのページと周辺のサイトファイルを読み込み、約20秒で38項目のチェックを実行します。このツールの対象である3つのチェックは、ハイライトされたボックスの先頭に表示され、最初の1つは展開された状態です。以下は、コードが実際に行っていることの説明です。

対象ページ。 チェッカーは、入力したURLのページ、ドメインのみの場合はトップページを監査します。robots.txtなどのサイトファイルは常にドメインから読み込みます。まずhttps://を試し、失敗するとhttp://にフォールバックし、最大6回までリダイレクトを追跡します。通常の訪問ではSearviaBot/1.0と名乗ります。

AIクローラーのアクセス(優先度:高)。 最終的なホストから/robots.txtをダウンロードします。404などの4xxはファイルが存在しないことを意味し、すべて許可とみなします。5xx、429、接続エラーはファイルに到達できないことを意味し、その場合はすべてのトークンが「不明」と表示されてチェックは不合格になります。RFC 9309が、サイトを全面ブロックとして扱うようクローラーに求めているためです。HTMLページを返す200は有効なrobots.txtではありません。クローラートークン10個と学習オプトアウトトークン2個のそれぞれについて、そのトークンを名指しするグループ、なければ*のグループを選び、「このトークンは、入力したページのパス(トップページなら/)を取得してよいか」という1点を判定します。最長一致ルールを使い、同点の場合はallowを優先します。*と$のワイルドカード、コメント、1つのルールセットを共有する複数のUser-agent行、同じトークンに対する繰り返しのグループにも対応しています。

GoogleのAI機能はGooglebotで動き、Microsoft CopilotはBingを根拠に回答を生成するため、GooglebotとBingbotは検索の列に入っています。Google-ExtendedとApplebot-Extendedがサイトを訪問することはありません。これらのルールは、GooglebotやApplebotがすでにクロールしたコンテンツをAI学習に使ってよいかだけを制御します。各行には「許可」「ブロック」「不明」のいずれかが表示されます。

ファイアウォールテスト。 次に、OpenAIがGPTBot用として公開しているユーザーエージェント(GPTBot/1.4)で、リダイレクトを追跡せずに同じページをもう一度リクエストします。通常の訪問が成功(ステータスが400未満)したのに、このリクエストが401、403、429、503になった場合、GPTBotと名乗るリクエストが拒否されたと警告します。このリクエストはOpenAIのIPアドレスから送られていないため、本物のクローラーは異なる扱いを受ける可能性があります。

JavaScriptなしのコンテンツ(優先度:中)。 メニューやフッターを除いた本文の語数を、生のHTMLから数えます。80語未満で、かつページに空のアプリコンテナ(<div id="root">、app、__next、__nuxt、svelte)があるか、外部スクリプトが3つ以上読み込まれている場合は、JavaScriptを実行しないクローラーには空のページに見える可能性があると警告します。

robots.txt(優先度:中)。 3つ目の重点チェックでは、robots.txtが存在するか、サーバーエラーやHTMLページを返していないか、Googlebotをトップページまたは入力したページからブロックしていないかを報告します。このファイルの詳細はrobots.txtガイドで解説しています。

ステータスの判定ルール。 7つの検索トークンのいずれかがブロックされている場合、またはrobots.txtに到達できない場合、AIクローラーのアクセスは不合格になります。ファイアウォールテストが拒否された場合は警告です。学習クローラーやオプトアウトトークンのブロックは一覧に表示されますが、正当な選択なのでチェックは合格のままです。

チェッカーがテストしないこと

限界を知っておくと、緑の結果を過信せずに済みます。

• 1回の実行で1パスのみ。 テストするのは入力したページのパス(ドメインのみなら/)だけです。OAI-SearchBotに対するDisallow: /pricing/のようなルールは、そのページを入力したときにしか検出できません。セクション単位のブロックは、ファイルを読んで確認してください。
• ファイアウォールテストは、当社のサーバーから1つのユーザーエージェントを送るだけです。 OAI-SearchBotではなくGPTBotの名前を使い、OpenAIのIPアドレスからも送られません。IPでボットを検証するファイアウォールは、本物のGPTBotを通しつつ当社のリクエストをなりすましとしてブロックすることがあります。逆に、ユーザーエージェントではなくOpenAIのIPレンジをブロックしているファイアウォールは、当社のテストを通過します。ファイアウォールの警告は「ボット設定を確認する」合図と受け止め、ログで裏付けを取ってください。
• リストにないトークン(Perplexity-UserやOAI-AdsBotなど)はテストされません。

結果の読み方

AIクローラーの行の下の表には、各トークンがラベル付きで「許可」「ブロック」「不明」と表示されます。A+からFまでの総合グレードは38項目すべてが対象で、優先度で重み付けされます。優先度「高」は10点、「中」は5点、「低」は2点で、警告は半分の点が入り、情報のみの結果は除外されます。「まず修正すべき項目」には最大8件の問題が優先度の高い順に並びます。各行には、同じチェックに合格している監査済みサイトの割合も表示され、その問題が珍しいのか一般的なのかが分かります。

チェッカーが報告するすべての問題の直し方

1. robots.txtがAI検索クローラーをブロックしている

https://yourdomain.com/robots.txtを開き、ブロックされた各トークンに適用されるグループ(名指しするグループ、なければ*)を探します。そのうえで方針を決め、明示的に書きます。次のファイルは、AI検索とユーザーフェッチを許可し、学習をブロックし、それ以外にはこれまでどおりのルールを維持します。

# AI search and user-requested fetches
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /

# Model training
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /

# Everyone else, including Googlebot and Bingbot
User-agent: *
Disallow: /admin/

Sitemap: https://www.example.com/sitemap.xml

手順は次のとおりです。

1. ステージングサイトから残っているUser-agent: *とDisallow: /の組み合わせを削除します。この1組だけですべてがブロックされます。
2. AI検索のグループにも他と同じ非公開エリアのルールが必要なら、コピーして入れます。名前付きのグループは*のルールを継承しません。
3. robots.txtを書き出すプラグインやCDNの機能を使っている場合は、そちらで変更します。手で編集したファイルは次回のデプロイで上書きされます。
4. 保存し、プライベートウィンドウで公開中のファイルを再読み込みして、AIクローラーチェッカーをもう一度実行します。
5. OpenAIとPerplexity側で変更が反映されるまで、1日ほど待ちます。

2. ファイアウォールがクローラーを拒否した

1. ルールを特定する。 CDNやファイアウォールのイベントログで、GPTBot、OAI-SearchBot、ClaudeBot、PerplexityBotを含むユーザーエージェントで絞り込み、どのルールが作動したか(ボット対策、マネージドルールセット、レート制限、国別ブロックなど)を確認します。
2. Cloudflareの場合は、AI Crawl Controlを開きます。各AIクローラーが許可かブロックかで一覧表示されるので、AI検索クローラーを許可したまま学習クローラーをブロックできます。あわせて、ゾーンのセキュリティ設定にあるAIボットトラフィックポリシーも確認してください。引用されたいならSearchを許可にします。TrainingとAgentは、それぞれの是非で判断してください。「広告のあるページでブロック」は、Cloudflareが広告を表示していると検出したページにのみ適用される点にも注意が必要です。
3. その他のWAFの場合は、許可したいボットに対して、ユーザーエージェントとプロバイダーが公開しているIPレンジの両方で照合する許可ルールを追加します。これはPerplexityも推奨している方法です。OpenAIはsearchbot.json、gptbot.json、chatgpt-user.json、Perplexityはperplexitybot.jsonとperplexity-user.json、Anthropicはclaude.com/crawling/bots.json、Common Crawlはccbot.jsonを公開しています。許可ルールはブロックルールより高い優先度にし、レンジは変わるため定期的に更新してください。
4. レート制限。 プローブが429を受けた場合、レート制限がクローラーのペースより厳しすぎます。無効にするのではなく、認証済みボット向けに引き上げてください。
5. 学習をオプトアウトするためにIPでブロックしないでください。 Anthropicは、IPアドレスをブロックするとボットがrobots.txtを読めなくなるため、確実にオプトアウトできない可能性があると警告しています。方針はrobots.txtで、不正対策はファイアウォールで行いましょう。

ファイアウォールがIPでボットを検証していて、警告の原因が当社の未検証リクエストだと確信できる場合も、ログで確認してください。OpenAIのレンジからの本物のリクエストは200を受け取っているはずです。

3. 学習クローラーがブロックされている

これは報告されますが、不合格とはカウントされません。確認すべきは2点です。1つ目は、そのブロックが意図したものかどうかです。Google-Extendedをブロックすると、Geminiアプリでのグラウンディングからもコンテンツが外れます。Applebot-Extendedのブロックが影響するのは学習のみで、Appleの検索機能には影響しません。2つ目は、ブロックが*ではなく名前付きグループに書かれているかどうかです。*に書くと検索クローラーまで対象になってしまいます。

4. JavaScriptの実行前に表示される語数がわずかしかない

1. トップページと主要ページのページソース(インスペクターではなく)を表示します。本文がなければ、JavaScriptをレンダリングしないクローラーには何も見えていません。
2. 主要なテンプレートをサーバー側でレンダリングします。サーバーサイドレンダリング、静的生成、プリレンダリングのいずれかです。たとえばNext.jsなら、ブラウザでテキストを取得する代わりに、Server Componentsや静的生成を使います。
3. 製品説明、料金、プラン、FAQの回答といった要点がHTMLに入っていることを確認します。インタラクティブなウィジェットはクライアントサイドのままで構いません。
4. チェッカーを再実行します。メッセージ内の語数が増えているはずです。

5. robots.txtがない、またはGoogleをブロックしている

チェッカーはこれらのケースを区別します。「robots.txtファイルが見つかりません」は404などの4xxを意味し、害はありません。クローラーは「制限なし」として扱います。「robots.txtがステータスNで応答しています」や「到達できませんでした」は、5xx、429、タイムアウトを意味し、深刻です。RFC 9309では、クローラーはその場合、完全なdisallowを想定しなければならないとされ、Googleは最初の12時間クロールを停止します(Google's robots.txt specification)。/robots.txtが、プレーンテキストで200を返す(ルールが不要なら404でもよい)ようサーバーを修正し、curl -I https://yourdomain.com/robots.txtで確認してください。HTMLページを返すrobots.txtもフラグが立ちます。robots.txtがGooglebotを/からブロックしている場合は、それを最優先で直してください。GoogleのAI機能がブロックされ、Appleのフォールバックを通じてApplebotもブロックされます。

ログでクローラーを検証する

「GPTBot」と名乗るリクエストは誰でも送れます。ファイアウォールでボットを通す前、あるいは負荷の原因をボットのせいにする前に、検証しましょう。

• OpenAI、Anthropic、Perplexity、Common Crawl: IPを上記のJSONリストと照合します。
• Google: IPに対して逆引きDNSを実行し、名前がgooglebot.com、google.com、googleusercontent.comで終わることを確認し、その名前を正引きして同じIPが返ることを確かめます(Verifying Googlebot)。Googleはcommon-crawlers.jsonやuser-triggered-fetchers.jsonなどのJSONリストも公開しています。
• Common Crawlは、一部のクローラーがCCBotを偽って名乗ることがあるため、逆引きDNSとあわせてIPレンジを公開しているとしています。

具体例(仮想)

以下は仮想の例であり、実際のデータではありません。架空のB2Bダッシュボードツール、Larkspur Analyticsは、ChatGPTが2024年のレビューサイトをもとに自社の料金を説明していることに気づきました。AIクローラーチェッカーの結果は次のとおりです。

robots.txtに問題はなく、学習のブロックはチームが意図したものでした。403の原因は、スクレイピング被害の際に外部の担当者が有効にしたボット対策ルールで、「bot」を含むすべてのユーザーエージェントに一致していました。対応は次のとおりです。

1. 広範なルールをレート制限に置き換え、OAI-SearchBot、Claude-SearchBot、PerplexityBotについて、ユーザーエージェントと公開IPレンジで照合する許可ルールを追加した。
2. 料金ページと機能ページを静的生成に切り替え、HTMLに全文が含まれるようにした。
3. チェッカーを再実行すると、AIクローラーのアクセスが合格し、表示される語数は1,180語に増えた。
4. 2週間後、サーバーログに、料金ページへの検証済みのOAI-SearchBotとPerplexityBotのリクエストが記録され、ChatGPTの新しい回答がそのページを引用した。

20分でできるAIクローラーのチェックリスト

1. 無料のAIクローラーチェッカーを自社ドメインで実行する。
2. 方針を書き出す。検索は許可、学習は許可かブロックか、ユーザーフェッチは許可。
3. 方針を、*だけでなく、名前付きのrobots.txtグループで表現する。
4. ファイアウォールやCDNのボット設定(CloudflareのAI Crawl Controlを含む)を確認する。
5. 主要ページのソースを表示し、本文がHTMLに含まれていることを確認する。
6. 1週間後、ログで検証済みの検索クローラーが200を受け取っていることを確認する。

SearviaでAIクローラー対策を進める

無料のAIクローラーチェッカーは、AIクローラーと検索クローラー10種、学習オプトアウトトークン2種についてのrobots.txtの状況、ファイアウォールテスト、JavaScriptチェックを1回の実行で提供し、共有できるレポートも作成します。より広範なAI検索対応チェッカーでは、llms.txt、アイデンティティのマークアップ、質問と回答のコンテンツ、鮮度も確認できます。サイトがCloudflareで動いている場合は、読み取り専用トークンでCloudflareを連携してください。ウェブサイトプロジェクトのAIクローラータブに、実際にどのAIクローラーが、どれくらいの頻度で、どのページを読んでいるかが表示され、偽のクローラーは除外されます。アクセスは最初の一歩にすぎません。その後はAI可視性トラッキングが、ChatGPT、Gemini、Perplexityなどのアシスタントが実際にあなたに言及・引用しているかを毎週確認します。まずは料金ページから無料プランを始めましょう。