robots.txtとnoindexの併用は本当にNGか｜修正すべきケースと放置していいケース【第2回】～東京・札幌のWEB・システム・コンテンツ制作＞ブレッセ

前回は、Search Consoleの「robots.txtによりブロックされましたが、インデックスに登録しました」という警告について、Googleの公式ドキュメントや担当者の発言をたどりました。結論として、サイトの評価を下げるものではないというところまで確認しました。

ただ、ここで引っかかる方も多いと思います。検索してみると「これはやってはいけない設定」「よくある失敗パターン」と書かれた記事がいくつも出てくるからです。自分のサイトで警告が出ている最中にそういう文章を読むと、やはり落ち着かない気持ちになりますよね。今回はその落差の正体を整理していきます。

なぜ多くの記事が注意喚起しているのか

この警告に関する解説記事が多い理由は、それが「重大な問題だから」ではありません。**仕組みとして誤解しやすいから**です。

robots.txtとnoindexは、名前も役割も似ているように見えて、実際には効く場所が違います。片方はクロールを止め、もう片方はインデックスを止めます。この違いは、名称からは読み取りにくく、設定を書く段階で取り違えやすいポイントです。だから多くの解説記事が同じ内容を繰り返し書いています。

つまり「よく解説される」は「仕様が紛らわしい」という意味であって、「Googleがペナルティとして扱う」という意味ではないのです。ここを混同してしまうと、実害のないところに時間と労力を注ぐことになります。

ただし、注意が必要なケースもあります

とはいえ「どんな場合でも無害です」と言い切るのは正確ではありません。

Matthew Edgar氏は、ページの見つけられやすさに問題がなく、クロールバジェット(クロールにかけられる回数の上限)の節約が目的であるなら、インデックスされた状態のままDisallowでブロックし続けるのは合理的な選択だと述べています。ここは安心していい部分です。

一方で同氏は、フィルターやファセット(絞り込み条件)のURLがブロックされたままインデックスされると、元のページと競合しはじめ、本来上位に表示させたいページの検索結果での見え方に影響することがある、とも警告しています。

つまり、**ブロックしているURLがどういう性質のものか**によって、判断が変わってくるということです。

実務では、この2点だけ確認してください

ここまでを踏まえると、確認すべきことは2つに絞れます。

目的はクロールの節約か、確実な非表示か

クロールバジェットを節約したいのであれば、robots.txtのDisallowをそのまま維持していただいて問題ありません。一方、確実に検索結果から外したいのであれば、Disallowを外してクロールを許可し、noindexタグだけで制御する必要があります。目的によって答えが変わりますので、まずここをはっきりさせてください。

ブロック対象が他の重要ページと競合していないか

公開を保留しているページのように、他のページと内容が重複しないURLであれば、競合するリスクは低くなります。逆に、絞り込み条件の違いだけで内容がほぼ同じというURLの場合は、少し慎重に見た方が安心です。

そしてもうひとつ。この警告が出た根本の原因は「なぜそのURLがリンクから見つけられているのか」という点にあります。内部リンクの張り方に問題が残っていると、robots.txtをどう書き換えてもURLの露出そのものは止まりません。robots.txtの修正よりも、こちらを先に確認していただくことをおすすめします。

—

Search Consoleに表示される項目は、すべてが「今すぐ直すべきエラー」を意味しているわけではありません。文言を落ち着いて読み、実害があるのかどうかを切り分けてから動いてください。それだけで、余計な不安と作業をかなり減らせます。

次回からは、robots.txtにまつわるもうひとつの誤解を取り上げます。「Disallowと書いておけば検索エンジンから隠せる」という考え方が、実は逆の結果を招いてしまうという話です。