+7 (8352) 37-40-01 +7 (495) 975-91-27 +7 (843) 207-03-17 +7 (831) 231-06-21 8 800 77 55 127

7 важных правил создания robots.txt

27 Апреля 2016

Процесс добавления сведений о сайте роботом поисковой машины в собственную базу данных для последующей выдачи пользователям по запросу, называется веб-индексированием. Главным действующим лицом, со стороны ресурса, в этой процедуре выступает файл тестового формата robots.txt. Он содержит сведения о страницах, которые подлежат или закрыты от индексирования. Таким образом, робот понимает, что играет значимую роль на сайте и должно продвигаться в топ, а что нет.

Иногда, даже опытные вебмастера, в силу невнимательности или других причин, допускают критические ошибки при создании файла. Это приводит к некорректной работе и закрытию функционирования ресурса. Чтобы этого не случилось, предлагаем придерживаться определенных правил и тогда ваш сайт обязательно войдет в тройку лидеров.

Правило №1 – располагайте файл в нужном месте

Этот пункт является основополагающим и обеспечивает корректную работу всего ресурса. Файл robots.txt нужно располагать исключительно в корневой папке сайта. Так вы задаете действующему элементу корректный URL, а именно: http://вашсайт.ру/robots.txt. То, что указывается между вторым и третьим слешем – адрес вашего сайта. При другом расположении исполняющего файла, он будет иметь иной адрес, соответственно роботы поисковиков не смогут его инициализировать. А это приводит к полной индексации сайта, вместе со страницами, где этого делать не рекомендуется.

Правило №2 – соблюдайте регистр названия

Да, это важное замечание. При создании robots.txt ему необходимо присваивать имя, которое начинается только со строчной буквы. Его можно обрамлять французскими кавычками в виде елочек «». Если у вас адрес расположения выглядит вот так: http://вашсайт.ру/Robots.txt – это неправильно. Соответственно, попадя поисковый бот на ваш ресурс с таким адресом файла он получит сообщение об ошибке или будет переадресован на другую страницу. Необходимо чтобы роботы инициализировали страницу с числовым кодом 200, что повлечет правильную индексацию. В противном случае вы не сможете управлять этим процессом.

Правило №3 – корректное отображение в браузере

Если вы не уверены в правильности создания robots.txt, попробуйте его открыть в поисковике. Если все выполнено правильно, то он должен корректно отображаться, если нет – нужно искать ошибку и в срочном порядке ее исправлять. Роботы, хоть и не люди, но им нужно считывать информацию, а если страница не корректно открывается, то это невозможно. Если есть проблемы, искать их решение нужно в настройках сервера сайта. Если приходит автоматическое предложение загрузки правильной версии файла от системы, им нужно воспользоваться, иначе сайт будет проиндексирован целиком.

Правило №4 – правильная настройка запретов и разрешений

При необходимости скрыть от поискового робота какую-либо страницу или полностью закрыть сайт от веб-индексации, используйте только команду «Disallow». Допустим, если у вас стоит задача скрыть от робота раздел с ценами, то следует указать это в файле таким образом: «Disallow: /price/». Соответственно поисковый робот поймет, что у него нет доступа к страничкам, где имеется такое слово. Иногда нужно полностью скрыть сайт, например, при его обновлении или наполнении качественным контентом, то добавляем в файл строку Disallow: /. И бот не будет иметь доступа к вашему ресурсу, пока вы самостоятельно его не откроете.

mail-ru-proverka-robots-txt_ok.jpg

Если вы пойдете по обратному пути, и будете задавать действие через команду «Allow», что в переводе означает разрешение, то это в корне неправильно. Вы должны не разрешать, а запрещать. Когда потребуется проиндексировать сайт от первой до последней страницы, следует добавить в файл строку «Allow: /». После этого все дороги для ботов открыты.

Правило №5 – контроль над отсутствием конфликтов между директивами

При создании и заполнении файла для индексации необходимо вести контроль над тем, когда и какую команду вы давали поисковым машинам. Встречаются ситуации, когда разработчик на первых этапах создания сайта разрешил поисковым машинам его полную индексацию. Прошло время, появился новый контент для наполнения ресурса, и потребовалось закрыть страницу от обнаружения роботами. Таким образом, в файле robots.txt появился и запрет, и разрешение относительно одной и той же страницы, соответственно создался конфликт. Таких ситуаций следует избегать. Если ранее вы разрешали, а теперь хотите запретить, то нужно удалять информацию о доступе. Робот автоматически воспользуется разрешением и проведет индексацию.

Правило №6 – правильное оформление директивы Host

О том, что такое Host известно только роботам поисковой системы Яндекс. Все остальные вебмастера расценивают ее как ошибочную. В случае использования этого раздела в своем файле robots.txt, четко нужно указать, для кого она предназначена: для всех или только Яндексу. Правильное оформление имеет такой вид:

  • User-Agent: Yandex
  • Host: site.ru

Правило №7 – карта сайта

Карта сайта нужна не столько посетителям, сколько поисковым роботам. Она четко информирует о количестве разделов, подразделов и страниц на ресурсе. Здесь важно, чтобы разработчик создал и поместил файл sitemap.xml в корень сайта, за счет этого сформируется правильный перечень всех URL. При некорректном расположении, роботы не будут знать точного расположения и количества страниц, соответственно индексация будет неполной.

Соблюдайте все правила при создании файла robots.txt, и тогда ваш сайт будет правильно обнаружен и проиндексирован поисковыми машинами. Если это вызывает у вас трудности, обращайтесь к нашим специалистам, они с радостью помогут.


Последние записи
Анализ контекстной рекламы с гарантией результата
16 Ноября 2016
Раскрутка интернет-магазина: 4 пути в ТОП
14 Ноября 2016
Как получить максимальную конверсию с Яндекс Директа
11 Ноября 2016
21+ приём работы в Excel для SEO специалиста + бонус
9 Ноября 2016
SEO Conference 2016: итоги и обзор лучших докладов
4 Октября 2016
Подписка на новости
Полезные статьи о лидогенерации и интернет-маркетинге 4 раза в месяц
Наверх
Оформление запроса
Отправьте нам запрос и наши консультанты в ближайшее время свяжутся с Вами.
Корпоративный сайт
Комплексное продвижение
Интернет-магазин
Контекстная реклама
Поддержка и развитие сайта
Поисковое продвижение

Оформление запроса
Отправьте нам запрос и наши консультанты в ближайшее время свяжутся с Вами.
Готовое решение (интернет-магазин)
Комплексное продвижение
Готовое решение (корпоративный сайт)
Контекстная реклама
Поддержка и развитие сайта
Поисковое продвижение
Регистрация на семинар
Для того, чтобы зарегистрироваться оставьте свои контактные данные.
Баннер на На-связи.ru
На сайте 1С-Битрикс
Из социальных сетей
Из рассылки 1С-Битрикс
По приглашению «KISLOROD»
Баннер на Mail.ru