robots для wordpress

Зачем нужен файл robots.txt в wordpress, ведь в стандартной сборке его нет?
robots.txt — это текстовый файл, в котором указано для роботов поисковых систем, какие файлы индексировать не нужно. И создается он в рамках мероприятий по SEO-оптимизации сайта. Проще говоря, мы запретим поисковому роботу обходить системные файлы, указав закрытые директории и разрешим нужное в закрытом.

Итак, в обычном блокноте создаете файл robots, выставляете кодировку ANSI и сохраняете с таким содержанием:

User-agent: *
Disallow: /wp-
Disallow: /tag/
Disallow: */trackback
Disallow: */page
Disallow: /author/*
Disallow: /template.html
Disallow: /readme.html
Disallow: *?replytocom
Allow: */uploads
Allow: *.js
Allow: *.css
Allow: *.png
Allow: *.gif
Allow: *.jpg


Sitemap: http://вашсайт.com/sitemap.xml

Где «Disallow» — запретить, а «Allow» — разрешить.
Не забудьте в последней строчке вместо вашсайт.com прописать свое доменное имя.
Всё, осталось только загрузить файл в корень сайта.