Как закрыть сайт от индексации

Мэт Катс, будучи в свое время официальным представителем Гугл для вебмастеров, в одном из своих видео, рассказал, как закрыть сайт от индексации, способ предельно простой – нужно просто не ставить ссылки на свой сайт. Про этот, а также про другие способы закрытия сайта от индексации, читайте дальше.

Хотя, на самом деле, не ставить ссылки на свой сайт, это тоже вариант, но и сам Мэт Катс, в своем видео признает – такой способ действительно возможен — теоретически, но фактически, это не вариант. Любой посетитель, зайдя на ваш сайт, может затем оставить эту ссылку где угодно. И все, как только поисковик пройдет по ссылке, ваш сайт окажется проиндексирован поисковиком.

Но на самом деле, есть и другие способы закрытия своего сайта. Одни из них, менее эффективные, другие дают сто процентную гарантию запрета. Давайте пройдемся по этим способам.

Я предполагаю, что вы уже знаете, что такое индексация сайта и почему она важна. Окей, пару слов об этом. Поисковики, что Яндекс, что Гугл, да и другие тоже, постоянно рыскают по всему интернету, в поисках новой информации, и заносят всю важную информацию в свои базы. Если сайт проиндексирован, то он будет доступен в поиске.

Зачем нужно запрещать индексацию сайтов.

Есть несколько причин. Но главная, а по сути, единственно важная, это необходимость закрыть индексацию для новых сайтов, или же, для сайтов, которые проводят глобальную реорганизацию.

На молодых сайтах, еще слишком мало информации, и попадание в индекс поисковых систем, не принесет особых плюсов. Зато минусы принести может. На сайте могут быть множество ошибок, а значит, сайт получит пессимизацию. Или просто мало контента. Что в свою очередь, также не будет способствовать любви поисковых систем.

То же самое, касается и сайтов при реорганизации. В этот момент, на сайте идут масштабные работы, и поисковикам сами эти работы, лучше не видеть. Лучше впустить их затем на готовый сайт.

Бывает, что запрет индексации ставят и для того, чтобы чужие не зашли на сайт, и не смогли прочитать то, что на этом сайте. Но в этом случае, запрет индексации сайта, это не панацея, поскольку, с одной стороны, не дает сто процентной гарантии, с другой стороны, на сайт могут зайти и по ссылкам с других сайтов. О том, как сделать закрытые разделы на сайте, я поговорю в другой раз.

Способы закрытия сайта от индексации.

Есть четыре основных способа запрета сайта от индексации.

  1. Запрет индексации при помощи файла robots.txt
  2. Закрытие средствами WordPress (для сайтов на wordpress).
  3. Запрет с использованием мета тегов.
  4. Запрет индексации сайта при помощи файла .htaccess

В самом начале, вам нужно сделать другой обязательный шаг – добавить ваш сайт в Гугл вебмастерс, и в Яндекс вебмастерс.

Как закрыть сайт от индексации в robots.txt

Robots.txt, это текстовый файл, находящийся в корневой папке сайта. В нем прописывается, что запрещено делать поисковым роботам. И в нем же, можно указать запрет на индексацию всего сайта.

файл robots.txt в основной директории сайта

Если у вас еще нет этого файла, то вы можете создать его сами. Для этого, нужно просто создать обычный, текстовый файл, например, в программе блокнот. Только не нужно создавать файл в программе Word, или ему подобных, тяжелых офисных программах.

Также имейте в виду, что название файла должно быть robots.txt, и ничего другого. То есть, обязательна буква s на конце, обязательно маленькие буквы. Иначе, поисковые роботы, его проигнорируют. Я как то уже писать про составление robots.txt для wordpress.

Закрытие сайта от индексации в Яндекс.

После этого, нужно закрыть сайт от индексации в Яндекс. Для этого, можно воспользоваться директивой «Disallow», после чего, сохраните файл в корневой папке вашего сайта.

запрет индексации в Яндекс

Теперь, для поискового робота Яндекс, будет стоять запрет. Чтобы проверить, сработал ли запрет, нужно зайти в Яндекс Вебмастер, и проверить любую из страниц сайта инструментом «анализ robots.txt».

Закрытие сайта от индексации в Google.

Аналогично запрету в Яндекс, точно также можно сделать запрет на индексацию в Гугл. Только в этом случае, нужно закрыть Гугл робота.

Установка запрета индексации для Google

Ну и точно также, можно закрыть вообще от всех роботов, для этого, можно просто прописать две строчки.

User-agent: *
Disallow: /

Запрет индексации сайта при помощи файла robots.txt, простой метод. Но у него есть один недостаток, он не ненадежен. Особенно это касается Гугл. Для него, да и для Яндекса тоже, директивы, прописанные в файле robots.txt, скорее носят рекомендательный характер, но в случае, если роботы поисковиков посчитают нужным проиндексировать сайт, то они это сделают.

Закрытие сайта от индексации в WordPress

Популярная CMS WordPress, имеет свое решение. Таким образом, вебмастер может запретить индексацию, прямо из панели управления сайтом. Перейти в «Настройки» — «Чтение».

закрываем сайт на вордпресс от поисковиков

Но, как и в случае с файлом robots.txt, запрет к индексации сайта через панель WordPress, не дает сто процентной гарантии.

Запрет с использованием мета тегов.

Для запрета индексации сайта, можно применить специальный html тег:

meta name="robots" content="noindex,nofollow"

Разместив этот тег на странице сайта, вы сообщаете поисковикам (этот тег понимают и Яндекс и Гугл), что эту страницу индексировать не надо. А также, ненужно индексировать ссылки на этой странице.

В отличии от использования файла robots.txt, тег robots, является обязательным для исполнения. Но минус этого метода в том, что проставлять придется его на каждой из страниц сайта. Именно этот тег используют различные SEO плагины в WordPress, но с небольшой разницей.

meta name="robots" content="noindex,follow"

Здесь вы говорите поисковикам, что страницу индексировать не нужно, но ссылки индексировать нужно.

Если у вас WordPress, то вы просто можете поставить другой плагин, который будет проставлять именно первый тег, то есть, будет ставить запрет и на индексацию страницы в целом, и запрет на индексацию ссылок, расположенных на этой странице. Для этого можно воспользоваться плагином – Robots Meta. Его вы сможете найти на странице поиска плагинов.

Robots Meta имеет простейшие настройки. Для того, чтобы изменить настройки, нужно зайти в пункт «Настройки», и выбрать «Robots Meta»

Плагин Robots Meta

После чего, снять галочки с первых двух пунктов

Настройка плагина Robots Meta

Теперь во все страницы сайта, будет включен мета тег, запрещающий индексацию.

Закрыть весь сайт от индексации в файле .htaccess

Ну и последний пункт, это использование файла .htaccess. Это один из файлов настройки, который находится в корневой папке хостинга, то есть, там же, где находится и файл robots.txt. Однако, на некоторых хостингах, этот файл может быть недоступным (обычно на бесплатных хостингах, он недоступен).

Для того, чтобы закрыть файл, достаточно прописать в этом файле всего одну строчку:

deny from all

Но не торопитесь этого делать. Дело в том, что данная команда, закрывает вообще весь сайт, и не только от поисковых роботов, но и от людей тоже. И если ваш сайт использует доступ через админскую панель, то и она (админская панель), будет закрыта. Доступ к сайту будет только через FTP.

Но кроме полного закрытия сайта, можно просто поставить пароль на сайт. И это абсолютный метод, благодаря которому, вы сможете закрыть свой сайт от поисковых систем. Ну а как поставить пароль на сайт через файл .htaccess, смотрите в видео.



Метки: ,
1 Звезда2 Звезды3 Звезды4 Звезды5 Звезд (1 оценок, среднее: 5,00 из 5)
Загрузка...
Добавить комментарий

up