«Скорость обхода» в Яндекс.Вебмастере — это новый инструмент, позволяющий управлять скоростью запросов поисковых роботов к сайту.
Теперь индексация сайтов будет происходить еще быстрее. В дополнение к инструментам панели Вебмастера «переобход sitemap» и «переобход страниц» в разделе «Индексация», будет доступна функция управления скоростью обхода страниц документа.
По умолчанию, поисковая система Яндекс сама подберет оптимальную скорость. Также можно задать параметры вручную.
Директива «Crawl-delay» в robots.txt теперь не будет учитываться.
Изменения вступят в силу с 22 февраля 2018.
