В этой статье я расскажу как создать robots.txt для популярного блог-движка Wordpress. Зачем это нужно? Для избежания дублирования материалов на Вашем сайте. Если вы столкнулись или не хотите сталкиваться стем, что в топ поисковика начала вылазить страница архива вместо страницы со статьёй, то данное решение должно помочь Вам.
Содержимое файла robots.txt
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Если вы не столкнулись с тем, что страницы уже попали в индекс и Google отдал своё предпочтение архивным страницам, то Вам остаётся только ждать. Эксперементально доказано, что ждать нужно около 2-3 недель.
Февраль 9th, 2008 at 19:46
Не все роботы понимают подстановки в robots.txt, неизвестно, как себя поведут непонимающие
Да и вообще какие-то странные правила, где, например, запрещаются категории?
Я недавно писал про более правильное решение.
Июнь 30th, 2008 at 23:40
Согласен с Fobiss.
Надо, думаю, добавить в конец слэш:
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
и т.д.
Это ведь директории, значит должны слэшем заканчиваться.
И звёздочек по стандарту тоже не должно быть
Вот, кстати, можно посмотреть http://www.w3.org/robots.txt
Октябрь 1st, 2008 at 16:42
А я оставил бы только
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
и все...