【2026年10月末時点】
ChatGPTは、どうやってページを見つけているのか
CloudflareとOpenAIの共同実験から考える

こんにちは、アースダイバー代表の佐藤です。前回の記事では、AIがページの中身を読めるかという話を書きました。ただ、その前に、AIにページを見つけてもらえているかという段階があります。

この段階について、10月15日に、CloudflareとOpenAIが共同実験の初期の結果を公表しました。海外SEO情報ブログの鈴木謙一さんも、10月21日に「CloudflareとOpenAIの共同実験、数億件の新たなページを検索インデックスに追加」で、要点と見どころをていねいに解説しています。前回に続き、鈴木さんの記事に助けられて、この話題を取り上げます。

この記事では、両社の発表と、ChatGPTのクローラーの仕組みをあわせて読み、日本の会社のサイトにとって何が変わるのかを整理します。内容は2026年10月末時点のものです。

先に、ポイントを3つにまとめておきます。

1. CloudflareとOpenAIは2026年7月から、Cloudflareのネットワークの情報で、ChatGPTが新しいページを見つけやすくなるかを試している。Cloudflareの約1%のサイト群で、OpenAIの検索に数億件の新しいページが加わった
2. 使われたのは、ページの更新・アクセスの質・中身の変化などの情報。存在しないURL・何でもトップページに飛ばす転送・重複したページは、クロールの無駄として見分けられる
3. 見つかることと、引用されることは別。ChatGPTの検索に出るには、robots.txtで検索用のOAI-SearchBotを止めていないこと、Cloudflareを使っているならAIのクローラーの設定も確かめておくことが前提になる

AIに引用されるまでには、5つの段階がある

AIの答えにページが引用されるまでには、大きく分けて5つの段階があります。

1. 見つける：AIの会社が、ページのURLを知る
2. 取りに行く：クローラーがページを取得する
3. 読む：ページの中身を読み取る。前回の記事のJavaScriptの話は、この段階
4. 検索に入れる：検索のデータに加える
5. 選んで引用する：質問に合うページを選び、答えの出典にする

AI検索対策というと、5つ目の「選んで引用する」段階で選ばれるための書き方に目が向きがちです。鈴木さんも、そもそもクローラーに見つけてもらえなければ、AIの答えで引用されることはないと書いています。今回の実験は、主に最初の「見つける」の段階に、新しい手段を加えるものです。あわせて、取りに行くか・検索に入れるかの判断にも使われています。なお、利用者がChatGPTにURLを渡したときのように、その場でページを取得する経路は、この流れを通りません。

ChatGPTは、どこからページを見つけているのか

OpenAIは、2024年10月にChatGPTの検索を始めたとき、外部の検索サービスと、提携先から直接受け取る情報を使うと説明していました（OpenAI「Introducing ChatGPT search」、2024年10月31日）。

OpenAIは、自社のクローラーも動かしています。公式の説明では、クローラーは用途ごとに分かれています（OpenAI「Overview of OpenAI Crawlers」）。

OpenAIは、OAI-SearchBotをrobots.txtで許可することと、OpenAIが公開しているIPアドレスの範囲（searchbot.json）からのアクセスを許可することを勧めています。robots.txtを変えてから、検索に反映されるまでは約24時間かかるとしています。

URLを見つける力について、鈴木さんは、25年以上の積み重ねがあるGoogleに、OpenAIは遠く及ばないと指摘しています。弊社は、今回の実験を、その差をCloudflareの情報で縮められるかを試すものと読んでいます。

共同実験で、何を試しているのか

Cloudflareは、7月8日に、OpenAIとの共同実験を発表しました（Business Wireで配信された発表、2026年7月8日）。Cloudflareは、Web全体の20%以上のサイトの手前でアクセスを中継しているとしており、ページがいつ変わったか、どんなアクセスが来ているかを、ほぼその場で把握できるとしています。

7月の発表で、使う情報として挙げられていたのは、次の3つです。

• ページの更新：ページがいつ新しくなったか
• アクセスの質：サイトに来ているアクセスの質
• 中身の変化：ページの中身が実際に変わったか

10月15日の初期の結果では、Cloudflareのネットワーク全体の約1%にあたる、参加したサイト群を対象に、OpenAIの検索のクローラーが、数億件の新しいページを見つけて検索に加えました（Cloudflare「Cloudflare and OpenAI: Making AI discovery better for everyone」、2026年10月15日）。それまでOpenAIが知らなかったページです。両社は、ほかのサイトからのリンクが少なくても、価値のあるページはあるとしています。例として挙がっていたのは、洗濯機の取扱説明書・パスポートの最新の申請条件と手数料・飲食店のメニューと営業時間です。

あわせて、次のような使い方も試しています。

• クロールの無駄を減らす：存在しないURLへのアクセス・ほぼすべてのURLをトップページに転送するサイト・中身が重複したURLを、取りに行く前に見分ける
• 取りに行き直す時期を決める：ページの変化をもとに、もう一度取りに行く価値があるかを見分ける
• 危ないページを見分ける：攻撃者が仕込んだ偽のログイン画面のようなページに、そのページだけ印を付ける。サイト全体は対象にしない。初期の結果では、こうしたページを検索に入れない助けになりうるとしています

ページの順位付けは、OpenAIが独自に行います。使うのはページについての情報で、ページの中身をモデルの学習のために共有するものとは違う、としています。両社は「ページについての情報があっても、そのページを取りに行ってよいことにはならない」とも書いています。Search Engine Journalは、ページを取りに行ってよいかは、これまでどおり、サイト側のrobots.txtやCloudflareの設定で決まると解説しています。

まだ公表されていないこと

初期の結果には、わかっていないことも多くあります。Search Engine Journalのマット・サザン氏も、次の点を挙げています（Search Engine Journal、2026年10月20日）。

• どのサイトが参加したか、参加は申し込み制か
• クロールの量やサーバーの負荷が、どれだけ減ったか
• 見つかったページが、実際にどれだけ引用されたか・どれだけ訪問につながったか
• 広く使えるようになる、具体的な時期

Cloudflareは、7月1日のブログで、この種の仕組みを年内に広く提供する予定としていました（Cloudflare「Making AI search smarter」、2026年7月1日）。ただ、10月の発表には具体的な日付はなく、サイトが参加する方法も示されていません。

両社は、新しいページが見つかると、評価のために、はじめはクロールが増えることがあるとも書いています。

日本の会社のサイトにとって、何が変わるか

鈴木さんの見方と、弊社の見立てを分けて書きます。

鈴木さんは、手間をかけてつくった固有の情報のページが、リンクやサイトマップに頼らず見つかりやすくなれば、ChatGPTの検索の答えの網羅性と質が上がりうると期待しています。一方で、存在しないURL・重複したページ・何でもトップページに飛ばす転送が多いサイトは、クロールの優先度が下がる可能性があるとし、技術的なSEOの基本を整える大切さは、AI検索の時代でも変わらないとまとめています。

弊社の見立ては、次の4つです。

1. リンクの少ない会社の、固有のページが見つかりやすくなりうる

中小企業のサイトは、ほかのサイトからのリンクが少ないことがほとんどです。それでも、料金・対応地域・製品の仕様・よくある質問のように、その会社にしか書けないページはあります。今回の例に挙がった取扱説明書や営業時間のページは、まさにこの種類です。リンクが少なくても見つけてもらえる経路が増えるのは、こうしたページを持つ会社にとって良い変化だと考えます。

2. 「クロールの無駄」に見えるページを片づけておく

鈴木さんの指摘を、サイトの作り直しに当てはめて考えます。存在しないURL・何でもトップページに飛ばす転送・重複したページは、今回、クロールの無駄の例として挙げられました。サイトを作り直したときに、古いURLをすべてトップページに転送しているサイトは少なくありません。古いURLは、対応する新しいページがあればそこへ301で1対1に転送し、対応するページがなければ404（見つからない）か410（削除済み）を返すのが基本です。Googleは、404そのものはインデックスや順位に悪い影響はないとしたうえで、見つからないページをトップページに転送すると、利用者と検索エンジンの両方を混乱させる「ソフト404」になるとしています（Search Consoleヘルプ「404（ページが見つかりません）エラー」）。私も、この発表を読んで、まず弊社のサイトの転送の設定を見直しました。

3. robots.txtで、検索用と学習用を分けて考える

学習に使われたくないからと、OpenAIのクローラーをまとめて止めると、ChatGPTの検索にも出なくなります。止めるなら学習用のGPTBotだけにして、検索用のOAI-SearchBotは許可する、という分け方ができます。どちらにするかは会社の方針次第ですが、検索に出たいなら、OAI-SearchBotは止めないことが前提です。

4. Cloudflareを使っているなら、AIのクローラーの設定を確かめる

Cloudflareは、AIのクローラーの扱いを、この1年で何度か変えています。

• 2025年7月：AIのクローラーを標準でブロックする方針を発表した（MIT Technology Review、2025年7月1日）
• 2026年7月：AIのクローラーを、検索・利用者の代わりの操作・学習の3つの用途に分けて、用途ごとに「すべてのページで止める」「広告のあるページだけ止める」「止めない」を選べるようにした（Cloudflare Changelog、2026年7月1日）
• 2026年9月15日から：新しくCloudflareに追加したドメインでは、学習用と、利用者の代わりに操作するものを、広告のあるページで止める設定が標準になった。検索用は標準で許可

検索用のクローラーは標準で止まりません。ただ、チャットで利用者がURLを渡したときに取りに来るものは「利用者の代わりの操作」に入るので、広告のあるページでは止まっている場合があります。検索と学習を兼ねるクローラーにも、学習の設定が効きます。Cloudflareの管理画面の「AI Crawl Control」で、どのAIのクローラーが来ていて、用途ごとにどう設定されているかを確かめられます（Cloudflare Docs）。

弊社のサイトもCloudflareの上で公開しています。

自社のサイトで確かめること

1. robots.txtを開く：自社のドメインの後ろに「/robots.txt」を付けて開き、OAI-SearchBotやGPTBotを止める行がないかを見る
2. CDNの設定を見る：Cloudflareなどを使っていれば、AIのクローラーを用途ごとにどう扱っているかを見る。OpenAIが公開しているIPアドレスの範囲を、ファイアウォールで止めていないかも確かめる。制作会社が管理している場合は、問い合わせる
3. 転送と「ソフト404」を見る：GoogleのSearch Consoleの「ページのインデックス登録」で、「ソフト404」と「リダイレクトがあるページ」を見て、古いURLがトップページにまとめて転送されていないかを確かめる。消したページのURLが、サイトの中のリンクやサイトマップに残っていないかも見る。OpenAIのクローラーの動きは、Search Consoleには出ないので、サーバーのログで見る
4. 大事なページがリンクされているか見る：料金・よくある質問など、AIに聞かれやすいページが、サイトの中からリンクされ、サイトマップにも入っているかを見る

見つけてもらう手段が増えても、ページの中身が読めなければ意味がありません。前回の記事の、JavaScriptを切ってページを見る確かめ方も、あわせて試してください。

ページを見つけてもらえることは、出発点です。弊社が大事にしているのは、その先で、AIの答えの中で自社が比較やおすすめの候補として挙がり、強みが正しく伝わっているか、推薦されているかです。引用されるだけで終わらず、選ばれる理由が伝わっているかまで、AI検索診断で確かめています。

よくある質問

Q. Cloudflareを使っていないサイトには、関係ありませんか？
今回の実験の対象は、Cloudflareのサイト群の一部です。ただ、ChatGPTがページを見つける手段は、外部の検索サービスや自社のクローラーなど、ほかにもあります。robots.txtの設定や、消したページに404か410を返し、そのURLをサイトの中のリンクとサイトマップから外しておくことは、どのサイトにも当てはまります。

Q. この実験に、自社のサイトを参加させることはできますか？
Cloudflareは7月の時点で、この種の仕組みを年内に広く提供する予定としていました。ただ、2026年10月末時点で、具体的な時期や、サイトが参加する方法は公表されていません。

Q. GPTBotを止めると、ChatGPTの検索に出なくなりますか？
OpenAIの説明では、検索に表示するのはOAI-SearchBotの役目で、GPTBotは学習のためのクローラーです。OpenAIは、それぞれの設定は独立していると説明しています。GPTBotの設定は、検索に出るかどうかには影響しないとされています。

参考：鈴木謙一「CloudflareとOpenAIの共同実験、数億件の新たなページを検索インデックスに追加」（海外SEO情報ブログ、2026年10月21日）／Cloudflare「Cloudflare and OpenAI: Making AI discovery better for everyone」（2026年10月15日）／Cloudflare「Cloudflare Announces Research Pilot with OpenAI」（Business Wire、2026年7月8日）／Matt G. Southern「ChatGPT Search Can Draw On More Pages After A Cloudflare Pilot」（Search Engine Journal、2026年10月20日）／OpenAI「Overview of OpenAI Crawlers」／OpenAI「Introducing ChatGPT search」（2024年10月31日）／Cloudflare「Making AI search smarter」（2026年7月1日）／Cloudflare Changelog「New options to manage AI traffic」（2026年7月1日）／MIT Technology Review（2025年7月1日）／Search Consoleヘルプ「404（ページが見つかりません）エラー」／Cloudflare Docs「Manage AI crawlers」

WRITTEN BY佐藤 大貴アースダイバー株式会社 代表取締役DeNAで男性向けライフスタイルメディアのグロースを牽引し、ローンチから約1年半で月間3,000万PV規模に。ポートではコンテンツマーケティング責任者として幅広い領域のメディアを管掌し、上場とM&Aを経験。2019年に創業し、AI時代のマーケティング戦略とその実行を手がける。プロフィールを見る →LinkedIn