Время чтения: 1,5 минуты

Платон Щукин объяснил, почему поисковый робот Яндекса иногда играет не по правилам

Платон Щукин рассказал, в каких случаях индексирующий робот Яндекса действует по правилам, прописанным веб-мастерами.

В идеале индексирующий робот Яндекса соблюдает правила, записанные в robots.txt. Однако, как показывает практика, на деле не так все гладко. Хорошо известный в среде веб-мастеров серый кардинал поисковика Платон Щукин сделал в блоге очередную запись, поясняющую, почему иногда поисковые роботы Яндекса игнорируют правила, которые прописывают веб-мастера в файле robots.txt, и по какой причине в поиск попадает информация, которая де-факто закрыта от индексирования. В своей новой записи Платон четко обозначил, что робот поисковой системы Яндекс, отвечающий за индексирование ресурсов, при обходе очередного ресурса в обязательном порядке запрашивает правила, прописанные в файле robots.txt и действует сообразно им. Но прописанный алгоритм действий исполняется только если:

  • файл robots.txt расположен в корневом каталоге и находится по адресу вида site.ru/robots.txt;
  • при запросе к файлу индексирующий робот получает в ответ код HTTP 200, при попытке же перенаправления либо при получении в ответ иного кода, робот проигнорирует robots.txt;
  • размер файла robots.txt меньше 32Кб;
  • файл robots.txt среди алгоритмов для роботов разных поисковиков содержит специальные инструкции для роботов Яндекса, т.е. это любые надлежащим образом сформулированные инструкции, расположенные после строки «User-agent: Yandex»;
  • в тексте правил файла robots.txt нет взаимоисключающих (конфликтующих) команд и директив.

Платон Щукин заверил читателей блога, что при соблюдении перечисленных выше условий поисковый робот Яндекса выполнит инструкцию, содержащуюся в robots.txt и не будет индексировать закрытые страницы. Кроме того он напомнил, что внесенные в robots.txt изменения работают не сразу, а только спустя две недели.

Оцените статью:
Понравилась 0
Не понравилась 0
Автор: Артём Шаманский / Создатель проекта

Не бояться, уверенно идти вперед, если нужно, то напролом или даже, ломая кости и вгрызаясь в эту жизнь зубами, если это единственный шанс, чтобы жить и чувствовать себя человеком, чтобы испытывать уважение к самому себе и знать, что сделано все, что можно и даже более того ради достижения поставленной цели.

Нам интересно ваше мнение, напишите комментарий:

Нажимая на кнопку «Отправить», я даю согласие на обработку персональных данных в соответствии с «Политикой конфиденциальности».

Обмен мнениями и отзывы о публикации
Подпишитесь на рассылку блог-оптимизатора.рф

Уже подписались 800 человек