Яндекс ввел директиву Crawl-delay и поддержку GZIP
Новости Интернет
Теперь вебмастера могут управлять таймаутом, с которым поисковый робот Яндекса закачивает страницы с сервера, - сообщается в блоге Яндекс.Поиск.
Если из-за сильной нагрузки сервер не успевает обрабатывать запросы на закачку, можно воспользоваться директивой "Crawl-delay". Она позволяет задать поисковому роботу минимальный период времени (в секундах) между концом закачки одной страницы и началом закачки следующей.
К тому же, в поисковом роботе Яндекса была добавлена поддержка скачивания сжатого контента. Теперь при каждом запросе документа робот говорит: "Accept-Encoding: gzip,deflate".
Поддержка GZIP означает, что настроив соответствующим образом свой веб-сервер, вебмастера смогут снизить объем передаваемого трафика между ним и роботом Яндекса.
|
Все рубрики статей (2382 / 135):
|
|
