Время чтения: 2 минуты

Яндекс больше не будет учитывать директиву crawl-delay в настройках сайта

Яндекс решил отказаться от директивы crawl-delay в файле robots.txt.

В официальном блоге Яндекс.Вебмастера появилась свежая запись – разработчики проинформировали пользователей о том, что добавили новый инструмент «Скорость обхода». Он находится в разделе «Индексирование» и в ближайшее время полностью заменит директиву crawl-delay из файла robots.txt.

Судя по записи, сотрудники российской поисковой системы провели анализ обращений в техническую поддержку за последние пару лет и выяснили – многие владельцы сайтов не пользуются директивой crawl-delay в принципе. Другие неверно ее настраивают, и это приводит к медленному или неправильному индексированию интернет-ресурса.

Самая распространенная ошибка – это когда значение crawl-delay выставляется «как у других». Причем за эталон берется какой-либо пожилой ресурс, базирующийся на старом сервере. Такие сайты, ранее зачастую находились на домашних компьютерах в буквальном смысле. Естественно, что владельцы выставляли сильную задержку для краулера, чтобы не нагружать лишний раз сервер. Но бездумное копирование файлов robots.txt привело к тому, что crawl-delay выше 10 используются даже на сайтах, которые физически расположены в современных скоростных дата-центрах.

Теперь об этом беспокоиться будет не нужно. Потому что для поисковой системы Яндекс директива crawl-delay уходит в прошлое. Роботы просто перестанут ее учитывать, ориентируясь на настройки сайта в Вебмастере.

Теперь скорость обхода сайта настраивается в Вебмастере.

Пользователь самостоятельно выбирает – довериться Яндексу или настроить скорость обхода вручную.

У нового инструмента «Скорость обхода» не слишком много настроек – пользователь может выбрать из двух пунктов:

  • Доверять Яндексу (установлено по умолчанию).
    В этом случае роботы поисковой системы самостоятельно определят частоту и скорость обхода, ориентируясь на возможности сервера. Разработчики уверяют, что для каждого сайта будет выставляться максимально допустимая скорость.
  • Задать вручную.
    Можно выбрать в пределах от 0,6 до 30 запросов в секунду. При этом значение является лишь рекомендацией роботу, и может быть скорректировано автоматически. Яндекс советует выбирать данную опцию, только если краулеры замедляют сервер своими действиями.

Директива crawl-delay перестанет работать 22 февраля 2018 года. Но настройки для своих сайтов можно сделать уже сейчас.

Оцените статью:
Понравилась 0
Не понравилась 0
Автор: Ольга Фомина

Постоянно совершенствоваться в профессии, расти и развиваться. Расти в первую очередь над собой, ибо ни люди, ни обстоятельства не могут нанести автору столько вреда, сколько его самомнение и нежелание учится. Любая остановка — падение вниз. Поэтому только вперед, наперекор всему, что мешает двигаться и покорять новые вершины.

Нам интересно ваше мнение, напишите комментарий:

Нажимая на кнопку «Отправить», я даю согласие на обработку персональных данных в соответствии с «Политикой конфиденциальности».

Обмен мнениями и отзывы о публикации
Подпишитесь на рассылку блог-оптимизатора.рф

Уже подписались 800 человек