SEO:「CSSファイルおよびJSファイルにGooglebotがアクセスできません」メールに対応した

ウェブマスターツールに登録しているため、そこ経由でメールが届いたようです。

http://did2memo.net/ の CSS ファイルおよび JS ファイルに Googlebot がアクセスできません

Google Search Console

http://did2memo.net/ の CSS および JS ファイルに Googlebot がアクセスできません

http://did2memo.net/ のウェブマスター様

Google のアルゴリズムによるコンテンツのレンダリングとインデックス登録に影響を及ぼす問題が貴サイトで発生していることが Google のシステムにより判明しました。具体的には、robots.txt ファイルでの制限のために Googlebot が JavaScript や CSS ファイルにアクセスできません。Google では、これらのファイルによりウェブサイトが正常に機能していることを認識するため、これらのアセットへのアクセスをブロックすると検索結果における掲載順位が本来よりも低くなる可能性があります。

修正方法
１．ブロックされているリソースを特定する
「Fetch as Google」機能を使用して、robots.txt のディレクティブがブロックしているリソースを特定します。
Fetch as Google

２．robots.txt ファイルを更新する
サイトの CSS や JavaScript ファイルの制限を robots.txt のディレクティブから削除し、robots.txt テスターで変更をテストします。次に、変更した robots.txt ファイルをサイトで更新し、そのファイルを Search Console に送信します。 robots.txt をテスト

３．「Fetch as Google」を使用して修正を検証する
[モバイル: スマートフォン] オプションを選択して、ページを取得してレンダリングし、スマートフォン用の Googlebot が正常にコンテンツをレンダリングすることを再度チェックします。

とりあえず、ウェブマスターツールの「Fetch as Google」を開いて、適当なURLを入力した後に「PC」を「モバイル：スマートフォン」に変更した上で「取得してレンダリング」をクリックしました。

すると、Googleによるページの情報の取得が行われました。

結果の一覧表示では、「ステータス」が「完了」ではなく、「一部」となりました。

そのまま、読込結果の行をクリックすると、詳細が表示できます。

レンダリング結果を見ると、robots.txtの制限を受けるGooglebotの認識では、確かにjsやcssが読み込まれておらず、レンダリング結果がよくありません。

同じ画面で、取得できなかったリソースを確認することができます（「Googlebot はこのページの一部のリソースを取得できませんでした。取得できなかったリソースは次のとおりです」）。

そこで、これを見ながら、robots.txtの.cssと.jsの制限を緩和していきます（robots.txtは、http://（あなたのドメイン）/robots.txt にあります）。

とりあえず、robots.txtの中の、User-agent: *のうちの以下の行を削除しました。

Disallow: /*.js$
Disallow: /*.css$

そして、Disallowしてしまっているディレクトリ（Disallow: /wp-includes/, Disallow: /wp-content/）から、必要なディレクトリをAllowとして登録しました。

Allow: /wp-includes/js/
Allow: /wp-content/themes/
Allow: /wp-content/plugins/
Allow: /wp-content/uploads/
Allow: /wp-content/uploads-*

もう一度、Fetch as Google でレンダリング結果を確認したところ、どうしてもtwitterの埋め込みなどは認識されませんが（別サイトのrobots.txtをいじれないので）、.cssが正しく読み込まれたおかげで、だいぶ正しいレンダリング結果になりました。

機械的に、修正が成功しているかどうかを表示してくれたりはしないのですが、とりあえずレンダリング結果は確認して、「スマートフォン用の Googlebot が正常にコンテンツをレンダリングすることを再度チェックします」という部分は目視とはいえど確認しましたので、追加の連絡が来ないかを待つことになります。

一応、取得できなかったリソースに、もう必要そうな.jsや.cssは残ってなかったことも確認しているので、これで大丈夫なのかと思いますが（全ページを確認したわけではないので、かなり頼りないといえばそうですが、きりがないのも確かなので）。

現在一斉に、このメールが配信されたようで、「WNC-658001」という、この問題を特定するためのコードでGoogleのWebmaster Central Help Forumを検索すると、この数時間の間に多数の質問があることが確認できます（英語）。

Googleのフォーラム全体を「WNC-658001」で検索した結果：WNC-658001 - Google プロダクト フォーラム