Правильный Robots txt для wordpress. Берем контроль над поисковиками

Здравствуйте дорогие читатели, мы продолжаем улучшать нашу CMS WordPress. Сегодня хочу затронуть ооочень важный файл, который играет огромную роль в продвижении блога. Как вы наверное уже догадались – это файл “Robots txt для wordpress”.

robots txt для wordpress

Все мы когда-нибудь становимся на путь истинный, то есть на начальный этап ведения своих интернет ресурсов, на пути часто встречаются не понятные термины, фразы, файлы и т.п., так вот, файл robots.txt – не исключение.

Когда я начинал вести блог, я понятия не имел, что этот файл собою представляет и зачем он нужен вообще, набравшись опыта, испробовав несколько вариантов настройки, я теперь могу делиться с Вами своим вариантом настройки.

Очень подробно про файл robots.txt можете прочесть в гигантской Википедии.

Robots txt для wordpress – это текстовый файл, который располагается в корневой директории блога, то есть по адресу: http://life-crazy.ru/robots.txt

Он указывает поисковым машинам, какие файлы и папки индексировать, а  какие не включать в индекс, а также указывает на наличие файла sitemap.xml.

Если данного файла у Вас нет, тогда роботы будут индексировать «кушать» все, что попадается им на пути, в том числе и служебные файлы движка, которые в индексе вовсе не нужны, так и не дойдя до свеженького контента.

Можете ознакомиться со статьей «Как ускорить индексацию сайта» — в ней я описывал, зачем нужна быстрая индексация и как влияет robots txt на индексацию.

Robots txt для wordpress – создание, настройка

Давайте приступим непосредственно к созданию файла robots txt для wordpress. Итак, если у вас нет данного файла в корневой директории, не беда, в этом нет ничего страшно, так как вы сейчас все исправите.

Создавайте на рабочем столе обычный текстовый файл. Делается очень просто: жмите ПКМ (правая кнопка мыши) на пустом месте, на рабочем столе, выбирайте пункт «создать» — «текстовый документ» и давайте ему название robots.txt

создание текстового документа

Должен получиться такой текстовый документ.

роботс

Открывайте его двойным щелчком ЛКМ (левая кнопка мыши) и вставляйте следующее:

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comment-page-*
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-content/cache
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
 
User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comment-page-*
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-content/cache
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Disallow: /page/
 
Host: life-crazy.ru
 
Sitemap: http://life-crazy.ru/sitemap.xml
Sitemap: http://life-crazy.ru/sitemap.xml.gz

Давайте заберем некоторые строки:

Host: — здесь нужно вписать адрес вашего сайта. Если вы пользуетесь адресом с www тогда так и нужно прописывать, если без www, соответственно без него, как показано в примере. Только не забудьте адрес сменить 😉

В строке sitemap, также нужно прописать свой адрес к карте сайта в формате xml.

После внесения всех данных, сохраняйте и закидывайте в корневой каталог блога, еще раз напоминаю, у меня это адрес:

http://life-crazy.ru/robots.txt

Корневой каталог – это папка httpdocs или public_html в него и нужно поместить файл robots.txt.

Вот и все, вы настроили robots.txt для wordpress блога, теперь поисковики будут знать, куда совать нос, а куда нет 🙂

Как вам статья? Жду ваших комментариев.

P.S в связи стремительного развития алгоритмов поисковых систем, данный роботс является НЕ ВЕРНЫМ!!!

Подписывайтесь на обновления блога, и не пропустите выход свежей статьи на тему правильной настройки роботс.

С Уважением, Михед Александр.

Метки:
1 Звезда2 Звезды3 Звезды4 Звезды5 Звезд (1 оценок, среднее: 5,00 из 5)
Загрузка...
Комментарии
  1. mardan  |  25.04.2013 в 19:13  |  Цитировать

    «Живенькая» статья, все четко поделу. Спасибо, будем ждать продолжения!

    Ответить
    • Михед Александр  |  25.04.2013 в 19:18  |  Цитировать

      Спасибо за комментарий:)

      Ответить
  2. Тимур  |  05.05.2013 в 07:45  |  Цитировать

    надо попробовать, ато вроде заходят роботы каждый день, а не индексируют, сейчас проверю как это работает

    Ответить
    • Михед Александр  |  11.05.2013 в 10:36  |  Цитировать

      Тимур, пробуйте конечно)))

      Ответить
  3. Сергей  |  29.10.2013 в 12:24  |  Цитировать

    Очень важный файлик! Я встречал несколько вариантов его составления, но этот тоже имеет право на жизнь =)

    Ответить
Добавить комментарий

up