Life-crazy.ru | Опыт и знания
путешествуют сквозь время!

Правильный Robots txt для wordpress. Берем контроль над поисковиками.

Здравствуйте дорогие читатели, мы продолжаем улучшать нашу CMS WordPress. Сегодня хочу затронуть ооочень важный файл, который играет огромную роль в продвижении блога. Как вы наверное уже догадались – это файл “Robots txt для wordpress”.

robots txt для wordpress

Все мы когда-нибудь становимся на путь истинный, то есть на начальный этап ведения своих интернет ресурсов, на пути часто встречаются не понятные термины, фразы, файлы и т.п., так вот, файл robots.txt – не исключение.

Когда я начинал вести блог, я понятия не имел, что этот файл собою представляет и зачем он нужен вообще, набравшись опыта, испробовав несколько вариантов настройки, я теперь могу делиться с Вами своим вариантом настройки.

Очень подробно про файл robots.txt можете прочесть в гигантской Википедии.

Robots txt для wordpress – это текстовый файл, который располагается в корневой директории блога, то есть по адресу: http://life-crazy.ru/robots.txt

Он указывает поисковым машинам, какие файлы и папки индексировать, а  какие не включать в индекс, а также указывает на наличие файла sitemap.xml.

Если данного файла у Вас нет, тогда роботы будут индексировать «кушать» все, что попадается им на пути, в том числе и служебные файлы движка, которые в индексе вовсе не нужны, так и не дойдя до свеженького контента.

Можете ознакомиться со статьей «Как ускорить индексацию сайта» — в ней я описывал, зачем нужна быстрая индексация и как влияет robots txt на индексацию.

Robots txt для wordpress – создание, настройка

Давайте приступим непосредственно к созданию файла robots txt для wordpress. Итак, если у вас нет данного файла в корневой директории, не беда, в этом нет ничего страшно, так как вы сейчас все исправите.

Создавайте на рабочем столе обычный текстовый файл. Делается очень просто: жмите ПКМ (правая кнопка мыши) на пустом месте, на рабочем столе, выбирайте пункт «создать» — «текстовый документ» и давайте ему название robots.txt

создание текстового документа

Должен получиться такой текстовый документ.

роботс

Открывайте его двойным щелчком ЛКМ (левая кнопка мыши) и вставляйте следующее:

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comment-page-*
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-content/cache
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
 
User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comment-page-*
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-content/cache
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Disallow: /page/
 
Host: life-crazy.ru
 
Sitemap: http://life-crazy.ru/sitemap.xml
Sitemap: http://life-crazy.ru/sitemap.xml.gz

Давайте заберем некоторые строки:

Host: — здесь нужно вписать адрес вашего сайта. Если вы пользуетесь адресом с www тогда так и нужно прописывать, если без www, соответственно без него, как показано в примере. Только не забудьте адрес сменить 😉

В строке sitemap, также нужно прописать свой адрес к карте сайта в формате xml.

После внесения всех данных, сохраняйте и закидывайте в корневой каталог блога, еще раз напоминаю, у меня это адрес:

http://life-crazy.ru/robots.txt

Корневой каталог – это папка httpdocs или public_html в него и нужно поместить файл robots.txt.

Вот и все, вы настроили robots.txt для wordpress блога, теперь поисковики будут знать, куда совать нос, а куда нет :)

Как вам статья? Жду ваших комментариев.

P.S в связи стремительного развития алгоритмов поисковых систем, данный роботс является НЕ ВЕРНЫМ!!!

Подписывайтесь на обновления блога, и не пропустите выход свежей статьи на тему правильной настройки роботс.

С Уважением, Михед Александр.

Вы можете почитать лучшие посты моего блога в содержании. Чтобы получать анонсы к себе на почту, воспользуйтесь формой подписки ниже (достаточно ввести свой e-mail адрес и имя. Если письмо не пришло в течении 2-х минут, проверьте папку "СПАМ" в почтовом ящике). Если Вам понравилась статья, поделитесь нею с друзьями! Социальные кнопки ниже.
Да, Я Хочу Всегда Быть
В Курсе Новых Событий На Сайте!
Подпишитесь прямо сейчас, и получайте свежую информацию на свой E-Mail:
Ваш E-Mail в безопасности*
Комментарии
  1. mardan  |  25.04.2013 в 19:13  |  Цитировать

    «Живенькая» статья, все четко поделу. Спасибо, будем ждать продолжения!

    Ответить
    • Михед Александр  |  25.04.2013 в 19:18  |  Цитировать

      Спасибо за комментарий:)

      Ответить
  2. Тимур  |  05.05.2013 в 07:45  |  Цитировать

    надо попробовать, ато вроде заходят роботы каждый день, а не индексируют, сейчас проверю как это работает

    Ответить
    • Михед Александр  |  11.05.2013 в 10:36  |  Цитировать

      Тимур, пробуйте конечно)))

      Ответить
  3. Сергей  |  29.10.2013 в 12:24  |  Цитировать

    Очень важный файлик! Я встречал несколько вариантов его составления, но этот тоже имеет право на жизнь =)

    Ответить
Добавить комментарий

up