ブロガーなら大抵の方は使っていると思われる「Googleウェブマスターツール」。現在の自分のブログの状況を知るには欠かせませんよね。
そのGoogleウェブマスターツールで頻繁に出てくるのがクロールエラー。クロールエラーというとなんか自分のブログに問題があるんじゃね？って思いませんか？私はそう思っていました。少なくともGoogleのクローラーになんか悪影響を与えてそうな感じがしてたんです。
なのでクロールエラーが表示されたときは「URLの削除」をこまめにやってたんですが、実はその対処方法は間違っているということに最近気づきました。
今回はこの「Googleウェブマスターツールでクロールエラーが出たからってむやみやたらにURL削除するのはダメ」ってことについて書きたいと思います。
Googleウェブマスターツールのクロールエラーとは
最初に、Googleウェブマスターツールで表示されるクロールエラーとはどのようなものかを見ておきましょう。
▼ウェブマスターツールの「クロール」→「クロールエラー」をクリック。
すると「サイトエラー」と「URLエラー」が表示されます。「サイトエラー」はもし発生していたら早急に対処したほうがいいですね。
今回は「URLエラー」を見てみます。ん？なんかいつの間にか「スマートフォン」というタブが出来てますね。いつからだろ。まあいいや、クリックしてみましょう。
うわー、いっぱい404エラーになってるURLがあります。
そんなに404エラー出るものなの？と思う方もいると思いますが、例えばカテゴリのスラッグをURLに含んでいる場合にカテゴリー構成を変えたりすると発生します。
このエラーが出たときに私がやってたのが「URLの削除」なんですね。
「URLの削除」とは
URLの削除はその名のとおり、Googleの検索結果からURLを削除することです。やり方は以下。
▼「Googleインデックス」→「URLの削除」→「新しい削除リクエストを作成」をクリック。
ここで削除したいURLを入力すれば削除リクエストを作成できます。
でも、実はこの対処方法はやるべきではない方法だったんです。。。
「URL 削除ツールを使用すべきでない場合」がヘルプに書かれていた
なぜ「URLの削除」という方法が間違っているのかというと、ヘルプにそう書かれているからです。
URL 削除ツールは、誤って機密情報が公開されているページなど、すぐに削除する必要があるページに使用します。他の目的でこのツールを使用すると、サイトに問題が発生する可能性があります。
次のような場合には URL 削除ツールをご利用にならないでください。
誤った情報をクリーンアップする（404 エラーの古いページなど）。サイトが変更されたため、インデックスに登録されている URL が古くなってしまった場合は、次回のクロール時にこのことが認識されて、古いページが自然に Google の検索結果から削除されます。緊急の削除をリクエストする必要はありません。
ウェブマスター ツールのアカウントからクロール エラーを削除する。削除ツールはウェブマスター ツールのアカウントからではなく、Google の検索結果から URL を削除します。ウェブマスターが URL を手動でこのレポートから削除する必要はありません。しばらくすると、自然に削除されます。
サイトを「ゼロから再スタート」する。サイトにペナルティが課せられているおそれがある場合や、ドメインを他者から購入した後に、サイトを何の問題もない状態で新たにスタートさせたい場合は、再審査リクエストを行うことをおすすめします。このリクエストでは、自分のサイトについてどのような懸念があるか、および何が変更されたかを Google にお知らせいただくことができます。
ハッキング後、サイトを「オフライン」にする。サイトがハッキングされたため、問題のある URL をインデックスから削除したい場合は、URL 削除ツールを使用すると、ハッカーによって作成された新しい URL（たとえば http://www.example.com/buy-cheap-cialis-skq3w598.html）を削除できます。ただし、サイト全体を削除することや、後でインデックスに登録する予定の URL を削除することはおすすめしません。代わりに、ハッキングの痕跡をクリーンアップしてから、再びサイトを Google がクロールできるように設定してください。サイトがハッキングされた場合の対処方法については、こちらをご覧ください。
サイトの正しい「バージョン」をインデックスに登録する。多くのサイトは、同じ HTML コンテンツやファイルに複数の URL からアクセスできるようになっています。このようなサイトが何度も検索結果に表示されるのを避けるには、おすすめする正規化の方法をご覧ください。検索結果に表示させたくない URL を、URL ツールで削除しないでください。このような場合にこのツールを使用しても、ページの適切なバージョンだけが残ることはなく、その URL のすべてのバージョン（http/https、www あり/www なし）が削除されてしまいます。
私がやっていたのが上記の「誤った情報をクリーンアップする」という行為に当たっていたわけです。
URLの削除ツールを使うべきなのは、誤って機密情報などを公開してしまったときに緊急でそのページを検索結果から削除したい、というようなときです。
他の目的で使用するとサイトに問題が発生するかも…と書かれている以上、やらないほうがいいのは明らかですね。
今回の例以外にもつい使ってしまいそうな例が書かれているので、上記ヘルプはきちんと読んでおいたほうが良さそうです。
ではどうすればいいの？
じゃあクロールエラー出ているのはどう対処しておけばいいの？という話になりますが、「何もしなくてよい」というのが結論になります。
前述のヘルプに書かれているとおり、放っておけばGoogleのクローラーがじきにURLが古いということを認識してくれるからです。
でもエラー出たままだとすごく気になるんだけど…という方は、エラー表示だけ消しておきましょう。
▼URLエラーのページで、対象のURLにチェックを入れ、「修正済みとする」をクリック。
とりあえずこうすることで、エラーのあるURLとしては表示されなくなります。
気にならない人はこんなことしなくても放置しておけば問題ありません。
注意してほしいのが、あくまで「管理者が想定したとおりのURLエラーである場合」は放っておけばよいという話です。よくわからないサーバーエラー等が大量に発生しているような場合は、別途原因を調査し、対処する必要があります。（まだ私はそんな経験をしたことがないので未知の世界ですが…）
まとめ
ってことで、Googleウェブマスターツールについてのお話でした。
未だにGoogleウェブマスターツールはきちんと使いこなせていない気がします…勉強あるのみですね。