情報科学屋さんを目指す人のメモ

方法・手順・解説を書き残すブログ。私と同じことを繰り返さずに済むように。

大幅にrobots.txtを変更してみた

robots.txt (3) SEO (6) WordPress (76)

このブログを作って以来、初めてrobots.txtの中身を変更してみました。それについてメモしておきます。

変更理由

主な変更内容は、検索結果に出て欲しくないページの削除と、内容が重複するページの削除です。基本的に個別のエントリだけが検索結果に表示されてくれれば十分なので、それに絞ってみることにしました。

現在のrobots.txt

その結果、このようなrobots.txtになっています。

User-agent: *

Disallow: /wp-content/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /feed/
Disallow: /archives/
Disallow: /index.php
Disallow: /*?
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /page/
Disallow: /tag/
Disallow: /category/
Disallow: */feed/
Disallow: */trackback/

User-agent: Googlebot-Image
Disallow: /wp-includes/
Allow: /wp-content/uploads/
Allow: /wp-content/uploads-*

User-agent: Mediapartners-Google*
Disallow:
Allow: /*

User-agent: ia_archiver
Disallow: /

User-agent: duggmirror
Disallow: /

Sitemap: http://did2memo.net/sitemap.xml.gz

WordPressで作ったサイトを最適化するためのrobots.txt | コリス」と、そのサイトが実際に使っているrobots.txtを参考にしました。必要のない行も混ざってしまっているかもしれません。

robots.txtを変更するにあたって、「仮想robots.txt」というWordPressの仕組みについて調べたので、WordPressでのrobots.txtに関する解説記事を書く予定です。

コメント(0)

新しいコメントを投稿




  • カテゴリ ナビ
  • 著者紹介

    ブログが趣味で、 月間1,000万PV を達成しました。

    自分が困ったことをブログに書けば、次に困る人の参考になって、みんながみんな同じ苦労をせずに済む、というのが原点です。

    最近の関心は、スマホやパソコンに詳しくない人の行動や思考、 そしてそんな人を手助けする方法や枠組み。 また、それに関連するような、"身近な"セキュリティ。

    ※SNS(特にTwitter)でシェアされた記事は、内容の追加・更新を行っています。 必ず、ではありませんが、気に入った記事は積極的にシェアしてみてください。

    RSS | Facebook | Twitter | About