Яндекс всех уравнял

[ishura]

Как известно, в каждом журнале есть текстовый файл - robots.txt, который содержит параметры индексирования для роботов поисковых систем. Он практически одинаков для всех, за исключением директивы Crawl-delay. Crawl-delay задает поисковому роботу Яндекса тайм-аут между окончанием загрузки одной страницы и началом загрузки следующей. Например, для этого журнала задан тайм-аут в 10 сек, у другого он может быть в 10 раз больше. Чем больше значение, тем реже робот обращается к журналу и он не индексируется. Это, конечно, не очень хорошо, но мера вынужденная и позволяет значительно снизить нагрузку на сервер. Теперь Яндекс решил отказаться от учета директивы Crawl-delay и вводит ручное ограничение скорости обхода сайта. Для этого в Яндекс.Вебмастере появился новый инструмент - «Скорость обхода», который позволяет регулировать частоту запросов поискового робота к сайту. Но можно доверить Яндексу, который сам выставит оптимальную скорость обхода с учетом нагрузки, допустимой для сервера.



P.S. Изменить скорость обхода можно уже сейчас, но изменения вступят в силу с 22 февраля 2018 г.