Яндекс ввел директиву Crawl-delay и поддержку GZIP
Новости Интернет
Теперь вебмастера могут управлять таймаутом, с которым поисковый робот Яндекса закачивает страницы с сервера, - сообщается в блоге Яндекс.Поиск.
Если из-за сильной нагрузки сервер не успевает обрабатывать запросы на закачку, можно воспользоваться директивой "Crawl-delay". Она позволяет задать поисковому роботу минимальный период времени (в секундах) между концом закачки одной страницы и началом закачки следующей.
К тому же, в поисковом роботе Яндекса была добавлена поддержка скачивания сжатого контента. Теперь при каждом запросе документа робот говорит: "Accept-Encoding: gzip,deflate".
Поддержка GZIP означает, что настроив соответствующим образом свой веб-сервер, вебмастера смогут снизить объем передаваемого трафика между ним и роботом Яндекса.
|
Ищете, где скачать бесплатные программы?
Скачать бесплатные программы для компьютера на Windows и смартфона на iOS или Android можно на Софтодроме. На данный момент в каталоге Софтодрома представлено более 13 000 бесплатных программ для Windows, iOS, Android и Linux.
|
|
Все рубрики статей (2350 / 103):
|
|
Программы для Windows
Программы для Linux
Приложения для Android
Приложения для iPhone