Правильный Robots txt для wordpress. Берем контроль над поисковиками
Здравствуйте дорогие читатели, мы продолжаем улучшать нашу CMS WordPress. Сегодня хочу затронуть ооочень важный файл, который играет огромную роль в продвижении блога. Как вы наверное уже догадались – это файл “Robots txt для wordpress”.
Все мы когда-нибудь становимся на путь истинный, то есть на начальный этап ведения своих интернет ресурсов, на пути часто встречаются не понятные термины, фразы, файлы и т.п., так вот, файл robots.txt – не исключение.
Когда я начинал вести блог, я понятия не имел, что этот файл собою представляет и зачем он нужен вообще, набравшись опыта, испробовав несколько вариантов настройки, я теперь могу делиться с Вами своим вариантом настройки.
Очень подробно про файл robots.txt можете прочесть в гигантской Википедии.
Robots txt для wordpress – это текстовый файл, который располагается в корневой директории блога, то есть по адресу: http://life-crazy.ru/robots.txt
Он указывает поисковым машинам, какие файлы и папки индексировать, а какие не включать в индекс, а также указывает на наличие файла sitemap.xml.
Если данного файла у Вас нет, тогда роботы будут индексировать «кушать» все, что попадается им на пути, в том числе и служебные файлы движка, которые в индексе вовсе не нужны, так и не дойдя до свеженького контента.
Можете ознакомиться со статьей «Как ускорить индексацию сайта» — в ней я описывал, зачем нужна быстрая индексация и как влияет robots txt на индексацию.
Robots txt для wordpress – создание, настройка
Давайте приступим непосредственно к созданию файла robots txt для wordpress. Итак, если у вас нет данного файла в корневой директории, не беда, в этом нет ничего страшно, так как вы сейчас все исправите.
Создавайте на рабочем столе обычный текстовый файл. Делается очень просто: жмите ПКМ (правая кнопка мыши) на пустом месте, на рабочем столе, выбирайте пункт «создать» — «текстовый документ» и давайте ему название robots.txt
Должен получиться такой текстовый документ.
Открывайте его двойным щелчком ЛКМ (левая кнопка мыши) и вставляйте следующее:
User-agent: * Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /xmlrpc.php Disallow: /webstat/ Disallow: /feed/ Disallow: /trackback Disallow: */trackback Disallow: */feed Disallow: */comment-page-* Disallow: */comments Disallow: /*?* Disallow: /*? Disallow: /category/*/* Disallow: /wp-content/plugins Disallow: /wp-content/themes Disallow: /wp-content/cache Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /comments User-agent: Yandex Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /xmlrpc.php Disallow: /webstat/ Disallow: /feed/ Disallow: /trackback Disallow: */trackback Disallow: */feed Disallow: */comment-page-* Disallow: */comments Disallow: /*?* Disallow: /*? Disallow: /category/*/* Disallow: /wp-content/plugins Disallow: /wp-content/themes Disallow: /wp-content/cache Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /comments Disallow: /page/ Host: life-crazy.ru Sitemap: http://life-crazy.ru/sitemap.xml Sitemap: http://life-crazy.ru/sitemap.xml.gz |
Давайте заберем некоторые строки:
Host: — здесь нужно вписать адрес вашего сайта. Если вы пользуетесь адресом с www тогда так и нужно прописывать, если без www, соответственно без него, как показано в примере. Только не забудьте адрес сменить 😉
В строке sitemap, также нужно прописать свой адрес к карте сайта в формате xml.
После внесения всех данных, сохраняйте и закидывайте в корневой каталог блога, еще раз напоминаю, у меня это адрес:
http://life-crazy.ru/robots.txt
Корневой каталог – это папка httpdocs или public_html в него и нужно поместить файл robots.txt.
Вот и все, вы настроили robots.txt для wordpress блога, теперь поисковики будут знать, куда совать нос, а куда нет 🙂
Как вам статья? Жду ваших комментариев.
P.S в связи стремительного развития алгоритмов поисковых систем, данный роботс является НЕ ВЕРНЫМ!!!
Подписывайтесь на обновления блога, и не пропустите выход свежей статьи на тему правильной настройки роботс.
С Уважением, Михед Александр.
«Живенькая» статья, все четко поделу. Спасибо, будем ждать продолжения!
Спасибо за комментарий:)
надо попробовать, ато вроде заходят роботы каждый день, а не индексируют, сейчас проверю как это работает
Тимур, пробуйте конечно)))
Очень важный файлик! Я встречал несколько вариантов его составления, но этот тоже имеет право на жизнь =)