はじめに
この文書は、Webページを検索結果に表示させないための主要な方法を分かりやすく解説します。主に次の2つの考え方に分けて説明します。
目的
- 公開はしたいが検索で見つからないようにしたい場合
- 第三者にそもそも見られないようにしたい場合
2つの対策の概要
-
インデックスさせない方法：検索エンジンにページを登録させない仕組みです。例としてrobots.txtやmetaタグ（noindex）、HTTPヘッダ（x-robots-tag）があります。ページは公開されたままですが、検索から除外されます。使い方は簡単で、公開中の情報を検索に出したくないときに向きます。
-
そもそも見られないようにする方法：閲覧自体を制限します。例としてパスワード保護、ベーシック認証、IP制限、社内ネットワーク内のみ公開する方法などがあります。確実に見られたくないときや開発中のサイトに適します。
この章では、まずそれぞれの違いと選び方の目安を示しました。次章以降で具体的な設定手順や注意点を順に説明していきます。
これから公開するページの場合
概要
これから公開するページで、検索結果に載せたくない場合の基本的な対処法を説明します。テスト環境や会員専用ページなど、公開はするが検索エンジンのインデックスを避けたい場面に向きます。
1. metaタグで『noindex』を指定する
HTMLの内に次のようなmetaタグを入れてください。検索エンジンにそのページをインデックスしないよう伝えます。
<meta name="robots" content="noindex, nofollow">
この方法は特定ページごとに効きます。開発中のページや個別の会員ページに向いています。ページが公開されたまま検索に出ないよう確実にしたいときに使ってください。
2. robots.txtでクローラーを拒否する
サイトのルートにrobots.txtを置き、クロール対象を制限します。例：
User-agent: *
Disallow: /staging/
特定のフォルダやパターン全体を巡回させたくない場合に有効です。ただし、既に検索エンジンに登録されたURLのインデックスは削除されにくい点に注意してください。
3. 使い分けのポイント
- 単一ページの非表示ならmeta noindexが手早く確実です。
- サイト全体や複数フォルダをまとめて止めるときはrobots.txtが便利です。
どちらも設定後に検索エンジンの反映を待つ必要があります。反映を早めたいときは、サーチコンソールなどでURLの削除や再クロールを依頼してください。
注意点
meta noindexはページが公開されていても効果がありますが、robots.txtで完全にブロックすると検索エンジンがページ内容を確認できず、削除手続きが遅れる場合があります。用途に応じて使い分けてください。
すでに検索結果に出てしまっている場合
検索結果に既に表示されている場合は、早く一時的に非表示にする方法と、恒久的に検索結果から消す方法の二つを使い分けます。以下で具体的な手順と注意点をわかりやすく説明します。
一時的に非表示にする（早く反映させたいとき）
- 対象ページにnoindexを設定します。HTMLなら
サーバー側で設定する場合は「X-Robots-Tag: noindex」ヘッダーを送る方法もあります。noindexを付けたら、そのページをクロールしたときに検索結果から除外されます。
2. Google Search Console（サーチコンソール）に登録している場合、「削除」ツールからURLの一時削除リクエストを送ります。手順は、サーチコンソールでプロパティを選択 → 「削除」→「新しいリクエスト」→ 対象のURLを入力して送信です。これにより、短期間で検索結果から非表示になりやすくなります。削除ツールは一時的な処置なので、長期的に消したい場合はnoindexを維持してください。
恒久的に検索結果から消す（完全に消したいとき）
- サーバーやCMSから該当ファイルやページを削除します。ページを削除した状態でサーバーが404（Not Found）または410（Gone）を返すようにします。410は「恒久的に削除された」ことを示すため、クローラーが再訪した際に速くインデックスから外れることが期待できます。
- サイト内のリンクやサイトマップから該当URLを削除します。外部サイトに同じ内容が残っていると再びインデックスされることがあるため、可能なら外部の掲載元にも削除を依頼してください。
確認方法と注意点
- サーチコンソールの「URL検査」機能で、Googleが最新の状態をどう見ているか確認できます。
- 削除依頼後も反映までに時間がかかることがあります。特に外部リンクが多い場合はゆっくり消えることがあります。
- 表示は早く消せても、完全に消すにはサーバー側の対応（削除や404/410の設定）が重要です。ページがユーザーに見える状態のままnoindexだけに頼るのは避けてください。
より確実に見られないようにする方法
テスト中のページや社内向けの情報をより確実に検索エンジンや第三者に見られないようにするには、アクセス自体を制限するのが最も確実です。ここでは具体的で実践しやすい手段を紹介します。
1 パスワード保護（ベーシック認証など）
- 概要: ページに入る前に認証を必須にします。検索エンジンや無関係な第三者はコンテンツに到達できません。
- 設定例: レンタルサーバーの管理画面で「ディレクトリ保護」を有効にするか、Apacheの.htpasswdやnginxのauth_basicを使います。
- 長所: 最も強力で、誤って公開しても中身が見えません。
2 noindex を設定する
- 概要: 検索エンジンにそのページをインデックスしないよう指示します。HTMLのやHTTPヘッダー（X-Robots-Tag: noindex）で指定します。
- 補足: パスワード保護と併用すると効果が高まります。
3 推奨の組み合わせ
- テストサイトや社内サイト: パスワード保護＋noindexを必ず組み合わせてください。認証で中身を隠し、万が一認証が外れても検索結果に載りにくくなります。
4 その他の有効策
- IP制限で社内ネットワークからのみアクセス可能にする。
- サイトマップに含めない、外部リンクを貼らない。
- robots.txtだけでは不十分です。検索エンジンが従わない場合があります。
5 確認方法と注意点
- 設定後はプライベートウィンドウや検索エンジンのキャッシュで確認してください。
- 以前にインデックスされている場合は検索エンジンのURL削除ツールを使う必要があります。
- 画像や公開APIのURLに敏感情報を置かないように注意してください。
注意点
robots.txtだけでは不十分
robots.txtはクローラーに「巡回しないで」と伝えますが、外部サイトからのリンクや既存のインデックスにより検索結果に残ることがあります。たとえば別サイトがあなたのページへリンクしている場合、検索エンジンはそのURLをインデックスに残すことがあります。重要な情報を隠したいときは、noindexの併用や別の対策が必要です。
絶対に見られたくない情報は公開しない
銀行口座番号、個人番号、機密書類などは検索設定だけに頼らず、そもそも公開しない、あるいは強い認証をかけることが最も安全です。ファイルをウェブ上に置かないことが最も確実な防御になります。
推奨される対処手順（例）
- 機密ならまず公開を取り下げるか、パスワード認証をかける。
- インデックス済みならページにnoindexを付けてクロールを許可するか、検索エンジンの削除ツールで申請する。
- 長期的に残したくない場合は該当ページを削除し、サーバーで404/410などの応答を返す。
その他の注意点
キャッシュやアーカイブに残る可能性があります。重要度が高い場合は、外部サイト管理者やアーカイブ運営に削除を依頼してください。また、複数の方法を組み合わせると安全性が高まります。
