Инструменты для оптимизатора

В этой статье я расскажу как создать robots.txt для популярного блог-движка Wordpress. Зачем это нужно? Для избежания дублирования материалов на Вашем сайте. Если вы столкнулись или не хотите сталкиваться стем, что в топ поисковика начала вылазить страница архива вместо страницы со статьёй, то данное решение должно помочь Вам.

Содержимое файла robots.txt

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?

Если вы не столкнулись с тем, что страницы уже попали в индекс и Google отдал своё предпочтение архивным страницам, то Вам остаётся только ждать. Эксперементально доказано, что ждать нужно около 2-3 недель.