情報科学屋さんを目指す人のメモ

方法・手順・解説を書き残すブログ。私と同じことを繰り返さずに済むように。

SEO:「CSSファイルおよびJSファイルにGooglebotがアクセスできません」メールに対応した

Google (18) robots.txt (3) SEO (6)

2時間ほど前に、「http://did2memo.net/ の CSS ファイルおよび JS ファイルに Googlebot がアクセスできません」というメールがきました。robots.txtなどもう2年以上触っていないとは思うのですが、問題の可能性を指摘されたので、対応しました。

現在、このメールが、日本に限らず、世界的に次々送信されているようです。

今回の対象サイト(というか、このサイト)はWordPressで構築しているので、対処法の細かいところは、WordPress専用です。

ただし、Fetch as Googleで現状を確認して、robots.txtの原因部分を修正するというプロセス全体はWordPress限定ではなく、一般のサイトで通用する方法のはずです。ただ、自身にrobots.txtの編集権限があるかを確認してください。

メールの内容

ウェブマスターツールに登録しているため、そこ経由でメールが届いたようです。

http://did2memo.net/ の CSS ファイルおよび JS ファイルに Googlebot がアクセスできません

Google Search Console

http://did2memo.net/ の CSS および JS ファイルに Googlebot がアクセスできません

http://did2memo.net/ のウェブマスター様

Google のアルゴリズムによるコンテンツのレンダリングとインデックス登録に影響を及ぼす問題が貴サイトで発生していることが Google のシステムにより判明しました。具体的には、robots.txt ファイルでの制限のために Googlebot が JavaScript や CSS ファイルにアクセスできません。Google では、これらのファイルによりウェブサイトが正常に機能していることを認識するため、これらのアセットへのアクセスをブロックすると検索結果における掲載順位が本来よりも低くなる可能性があります。

修正方法
1.ブロックされているリソースを特定する
「Fetch as Google」機能を使用して、robots.txt のディレクティブがブロックしているリソースを特定します。
Fetch as Google

2.robots.txt ファイルを更新する
サイトの CSS や JavaScript ファイルの制限を robots.txt のディレクティブから削除し、robots.txt テスターで変更をテストします。次に、変更した robots.txt ファイルをサイトで更新し、そのファイルを Search Console に送信します。 robots.txt をテスト

3.「Fetch as Google」を使用して修正を検証する
[モバイル: スマートフォン] オプションを選択して、ページを取得してレンダリングし、スマートフォン用の Googlebot が正常にコンテンツをレンダリングすることを再度チェックします。

Fetch as Google

とりあえず、ウェブマスターツールの「Fetch as Google」を開いて、適当なURLを入力した後に「PC」を「モバイル:スマートフォン」に変更した上で「取得してレンダリング」をクリックしました。

すると、Googleによるページの情報の取得が行われました。

結果の一覧表示では、「ステータス」が「完了」ではなく、「一部」となりました。

そのまま、読込結果の行をクリックすると、詳細が表示できます。

レンダリング結果を見ると、robots.txtの制限を受けるGooglebotの認識では、確かにjsやcssが読み込まれておらず、レンダリング結果がよくありません。

同じ画面で、取得できなかったリソースを確認することができます(「Googlebot はこのページの一部のリソースを取得できませんでした。取得できなかったリソースは次のとおりです」)。

そこで、これを見ながら、robots.txtの.cssと.jsの制限を緩和していきます(robots.txtは、http://(あなたのドメイン)/robots.txt にあります)。

robots.txtの修正

とりあえず、robots.txtの中の、User-agent: *のうちの以下の行を削除しました。

Disallow: /*.js$
Disallow: /*.css$

そして、Disallowしてしまっているディレクトリ(Disallow: /wp-includes/, Disallow: /wp-content/)から、必要なディレクトリをAllowとして登録しました。

Allow: /wp-includes/js/
Allow: /wp-content/themes/
Allow: /wp-content/plugins/
Allow: /wp-content/uploads/
Allow: /wp-content/uploads-*

Fetch as Google でレンダリング結果を確認

もう一度、Fetch as Google でレンダリング結果を確認したところ、どうしてもtwitterの埋め込みなどは認識されませんが(別サイトのrobots.txtをいじれないので)、.cssが正しく読み込まれたおかげで、だいぶ正しいレンダリング結果になりました。

様子を見る

機械的に、修正が成功しているかどうかを表示してくれたりはしないのですが、とりあえずレンダリング結果は確認して、「スマートフォン用の Googlebot が正常にコンテンツをレンダリングすることを再度チェックします」という部分は目視とはいえど確認しましたので、追加の連絡が来ないかを待つことになります。

一応、取得できなかったリソースに、もう必要そうな.jsや.cssは残ってなかったことも確認しているので、これで大丈夫なのかと思いますが(全ページを確認したわけではないので、かなり頼りないといえばそうですが、きりがないのも確かなので)。

関連:フォーラムへの質問が急増中

現在一斉に、このメールが配信されたようで、「WNC-658001」という、この問題を特定するためのコードでGoogleのWebmaster Central Help Forumを検索すると、この数時間の間に多数の質問があることが確認できます(英語)。

Googleのフォーラム全体を「WNC-658001」で検索した結果:WNC-658001 - Google プロダクト フォーラム

コメント(0)

新しいコメントを投稿