検索結果にrobots.txtとsitemapファイル表示された際の対処法

GoogleのJohn Muellerが最近、検索結果にrobots.txtとsitemapファイル表示されるのを防ぐ方法についてアドバイスをしました。

このアドバイスはGoogleのGary Illyesがrobots.txtが他のURLのようにインデックスされることについて指摘したTweetを返信するような形で発信されました。
インデックスのクローラーへ特別な指示を提供する一方で、クローラーがインデックスを停止する方法はありませんでした。

以下がIllyesのTweetです。

Tweetの訳
robots.txtが検索結果に表示されるます、という内部からの質問を受けて。この問題は他のURLと同じように重複処理をすることができます。クローリングは特別な意味を持ちますが、そのインデックスステータスは全く意味を持ちません。

IllyesのTweetに返信する形でMullerは以下のように述べました。

Tweet訳
x-robots-tag HTTPヘッダーを使用することでrobots.txtとsitemapファイルが検索結果に表示されるのを避ける事が出来ます。
また仮にあなたのrobots.txtとsitemapファイルが通常の検索クエリと同列に扱われたら、それは大抵あなたのサイトが状態が良くなく改善が必要なサインです。
もしサイト運営している方で検索結果にrobots.txtが表示される問題に出くわしたら、 x-robots-tag HTTPヘッダーで対処するのが短期的な解決策としては有効です。

また別のTweetでは以下のように呟きました。
しかし、上のようは問題が起きた際はもっと大きな問題があり、時間をかけて問題を解決する必要があるとMullerは提案しました。

You may also like...

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

CAPTCHA