大幅にrobots.txtを変更してみた

主な変更内容は、検索結果に出て欲しくないページの削除と、内容が重複するページの削除です。基本的に個別のエントリだけが検索結果に表示されてくれれば十分なので、それに絞ってみることにしました。

その結果、このようなrobots.txtになっています。

User-agent: *

Disallow: /wp-content/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /feed/
Disallow: /archives/
Disallow: /index.php
Disallow: /*?
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /page/
Disallow: /tag/
Disallow: /category/
Disallow: */feed/
Disallow: */trackback/

User-agent: Googlebot-Image
Disallow: /wp-includes/
Allow: /wp-content/uploads/
Allow: /wp-content/uploads-*

User-agent: Mediapartners-Google*
Disallow:
Allow: /*

User-agent: ia_archiver
Disallow: /

User-agent: duggmirror
Disallow: /

Sitemap: http://did2memo.net/sitemap.xml.gz

「WordPressで作ったサイトを最適化するためのrobots.txt | コリス」と、そのサイトが実際に使っているrobots.txtを参考にしました。必要のない行も混ざってしまっているかもしれません。

robots.txtを変更するにあたって、「仮想robots.txt」というWordPressの仕組みについて調べたので、WordPressでのrobots.txtに関する解説記事を書く予定です。