AIクローラーの許可設定とrobots.txtの書き方｜店舗サイトの判断

目次 6 SECTIONS

「AIに勝手に学習されたくない」「AIの回答に自店を出したい」。方向は正反対ですが、相談としてはどちらもよく出てきます。そして多くの場合、話はrobots.txtに1行足す、という解決策に向かいます。

ところが、robots.txtで止められる範囲と、AI検索での見え方は、きれいには重なっていません。Google-Extendedをブロックしても、AIによる概要への出方は変わりません。逆にGooglebotを止めれば、検索そのものから消えます。

ここでは、Googleの公式ドキュメントに沿って、何をどの設定で制御できるのかを切り分け、店舗サイトでの判断材料までを整理します。

何をどの設定で制御できるのか

先に全体像を置きます。

やりたいこと	使う設定	効くこと	注意点
Geminiの学習・グラウンディングに使わせない	robots.txt の Google-Extended	Geminiアプリ・Vertex AI向けモデルの学習と、グラウンディングでの利用	Google検索の登録やランキングには影響しないとGoogleが明記
AIによる概要・AIモードに本文を使わせない	nosnippet / max-snippet	スニペット表示と、AIによる概要・AIモードへの直接入力	通常のスニペットも同時に消えます
ページの一部だけ使わせない	data-nosnippet	指定した範囲をスニペットから除外	AI機能への影響はヘルプに記載がありません
検索結果に出さない	noindex	検索結果への非表示	robots.txtでブロックするとnoindex自体が読まれません
クロールの負荷を抑える	robots.txt の Disallow	クロールの抑制	検索結果への非表示の手段ではありません

この表の1行目と2行目を混同すると、意図と逆の結果になります。順に見ていきます。

Google-Extendedで制御できる範囲

Google-Extended は、クローラーそのものではありません。Googleは「Google-Extended には、個別の HTTP リクエスト ユーザー エージェント文字列はありません」「クロールは既存の Google ユーザー エージェント文字列を使用して行われます」と説明しています。robots.txtで使う制御用のトークンという位置づけです。

このトークンで管理できるのは、クロール済みのコンテンツが、

• Geminiアプリや、Gemini向けVertex AI APIの基盤となる次世代Geminiモデルの学習に使われるか
• Geminiアプリでのグラウンディング、Vertex AIのGoogle検索グラウンディングに使われるか

の2点です。

そして重要な一文が、同じページに書かれています。「Google-Extended が Google 検索でのサイトの登録に影響したり、Google 検索でのランキング シグナルとして使用されたりすることはありません」。つまり、ブロックしても検索順位が下がるわけではなく、逆に許可しても順位が上がるわけでもありません。

記述例

Googleがドキュメントで示している例は、特定のディレクトリだけを許可する形です。

User-agent: Google-Extended
Allow: /archive/1Q84
Disallow: /archive/

サイト全体を対象から外す場合は、次のようになります。

User-agent: Google-Extended
Disallow: /

他のトークンとの違い

混同しやすいトークンが並んでいるため、用途を分けておきます。

トークン	用途
Googlebot	Google検索（Discoverや各種検索機能を含む）、画像検索、動画、ニュースなどに影響
GoogleOther	汎用クローラー。特定のプロダクトに依存せず、各チームが一般公開コンテンツの取得に使用
Google-CloudVertexBot	サイト所有者がVertex AIエージェントを構築するために要求するクロール
Google-Extended	Geminiモデルの学習とグラウンディングでの利用の制御

Googlebot をブロックすれば検索に出なくなります。集客のためにサイトを持っている店舗が、ここを触る理由は通常ありません。

AIによる概要・AIモードへの出方を制御する

AIによる概要とAIモードは、Google検索の機能です。そのためrobots.txtの Google-Extended では制御できません。

Googleのドキュメントは、nosnippet について「コンテンツが AI による概要と AI モードの直接入力として使用されることもありません」と書いています。max-snippet についても「AI による概要と AI モードの直接入力として使用されるコンテンツの量も制限されます」とあります。

<meta name="robots" content="nosnippet">

ただし、nosnippet は通常の検索結果のスニペットも消します。説明文が出ない検索結果になるため、クリック率への影響を踏まえて判断してください。ページの一部だけを外したい場合は、span・div・section に data-nosnippet 属性を付ける方法があります。

なお、ルールが競合した場合は厳しいほうが適用されます。nosnippet と max-snippet:50 が併記されていれば、nosnippet が優先されます。

robots.txtの基本

設定を書く前に、仕様の前提を押さえておきます。

• ファイルはサイトのルートに置きます（サブディレクトリに置いても読まれません）
• UTF-8でエンコードしたテキストファイルにします
• ルールは大文字小文字を区別します
• 1つのユーザーエージェントには、最初に一致する最も限定的なグループ1つだけが適用されます
• * はAdsBotを除くすべてのクローラーに一致します（AdsBotは明示的に指定する必要があります）
• Disallow されていないものは、すべてクロール可能です

そして、最も誤解されやすい点がこれです。robots.txtは「Google にウェブページが表示されないようにするためのメカニズムではありません」。ブロックしたURLでも、他所からリンクされていればGoogleが検出してインデックスに登録する可能性があり、検索結果にURLが表示されることがあります。検索結果から外したいなら noindex かパスワード保護を使う、というのがGoogleの案内です。

加えて、robots.txtに強制力はありません。Googleは「サイトに対するクローラーの動作に対して、robots.txt ファイルの指示を強制適用することはできません」と明記しています。Googlebotのような信頼できるクローラーは従いますが、すべてのクローラーが従うわけではありません。非公開にすべき情報は、robots.txtではなく認証で守る領域です。

店舗サイトではどう判断するか

店舗サイトの目的は、ほとんどの場合、見つけてもらうことです。この前提に立つと、判断はそれほど複雑になりません。

• 検索とAI検索の両方で見つかりたい → Googlebotも Google-Extended も止めない
• Geminiの学習には使われたくないが、検索流入は維持したい → Google-Extended のみを Disallow にする（検索の登録・順位には影響しないとGoogleが明記）
• 会員ページや予約の管理画面など、そもそも公開対象でない → robots.txtではなく認証とnoindexで扱う

Google-Extended を止めるかどうかは、学習に使われることをどう捉えるかの判断であり、集客上の有利不利とは切り離して決められます。ただし、グラウンディングも同じトークンの対象です。Geminiが回答を作る際に自店のページを参照しうる経路も、同時に閉じることになります。AI経由での露出を増やしたいという目的があるなら、方向が逆になる点は認識しておいてください。

設定を変えたら、Search Consoleのrobots.txtレポートで、意図したとおりに読み取られているかを確認してください。1文字の綴り違いでグループ全体が無効になることがあります。

よくある質問

Google-ExtendedをブロックするとSEOに不利になりますか

Googleは、Google-ExtendedがGoogle検索でのサイトの登録に影響したり、ランキングシグナルとして使用されたりすることはない、と明記しています。検索順位の観点では、ブロックしても許可しても扱いは変わらない、という説明になっています。

robots.txtでブロックすれば、AIによる概要に出なくなりますか

なりません。AIによる概要とAIモードはGoogle検索の機能で、Google-Extended の対象外です。本文が直接入力として使われることを避けたい場合は、nosnippet または max-snippet を使います。ただし通常のスニペットも同時に制限されます。

robots.txtはどこに置けばいいですか

サイトのルートに置きます。https://example.com/robots.txt のようにホスト直下である必要があり、https://example.com/pages/robots.txt では読まれません。サブドメインや標準以外のポートは、それぞれ別のファイルを持ちます。

WordPressの店舗サイトでも同じ考え方でいいですか

ファイルの置き場所と記述の仕様は同じです。WordPressでは仮想的なrobots.txtが出力されている場合があり、プラグイン側の設定と実ファイルのどちらが配信されているかで挙動が変わります。変更前に、ブラウザで /robots.txt を開いて現在の内容を確認してください。

本記事の手順・仕様は2026年10月時点のものです。Googleの仕様は変更されることがあります。