Яндекс ввел директиву Crawl-delay и поддержку GZIP

Автор:	Softodrom.ru
Дата:	25.07.2008 23:14

Теперь вебмастера могут управлять таймаутом, с которым поисковый робот Яндекса закачивает страницы с сервера, - сообщается в блоге Яндекс.Поиск.

Если из-за сильной нагрузки сервер не успевает обрабатывать запросы на закачку, можно воспользоваться директивой "Crawl-delay". Она позволяет задать поисковому роботу минимальный период времени (в секундах) между концом закачки одной страницы и началом закачки следующей.

К тому же, в поисковом роботе Яндекса была добавлена поддержка скачивания сжатого контента. Теперь при каждом запросе документа робот говорит: "Accept-Encoding: gzip,deflate".

Поддержка GZIP означает, что настроив соответствующим образом свой веб-сервер, вебмастера смогут снизить объем передаваемого трафика между ним и роботом Яндекса.

Топ-10 лучших бесплатных программ ТОП-10 Аудио, видео K-Lite Codec Pack Full - скачать Разработчик: K-Lite Загрузок: 5940206 Бесплатная K-Lite Codec Pack Full — набор кодеков и инструментов для проигрывания аудио и видео практически любых форматов ТОП-10 Система CCleaner - скачать Разработчик: Piriform Ltd Загрузок: 2903627 Бесплатная CCleaner — бесплатная программа для очистки системы: удаления истории просмотра сайтов в браузерах, временных файлов, а также для безвозвратного удаления данных ТОП-10 Загрузка файлов uTorrent - скачать Разработчик: BitTorrent Загрузок: 2462735 Бесплатная uTorrent — компактный BitTorrent-клиент с поддержкой одновременной загрузки сразу нескольких файлов, настраиваемой полосой пропускания, небольшим использованием памяти и т.д. ТОП-10 Мультимедиа DAEMON Tools Lite - скачать Разработчик: Daemon-tools Загрузок: 1503472 Бесплатная DAEMON Tools Lite — эмулятор CD/DVD-приводов, относительно маленький по размеру, но мощный по возможностям ТОП-10 Графика и дизайн Foxit Reader - скачать Разработчик: Foxit Software Загрузок: 1238429 Бесплатная Foxit Reader — быстро работающее приложение для просмотра и печати документов формата PDF, не требующее наличия Adobe Reader ТОП-10 Загрузка файлов BitTorrent - скачать Разработчик: BitTorrent Загрузок: 516473 Бесплатная BitTorrent — официальный клиент пиринговой сети, нацеленной на возможность загрузки файлов большого размера ТОП-10 VPN SoftEther VPN Client - скачать Разработчик: SoftEther Загрузок: 141887 Бесплатная Бесплатный VPN-клиент. Поддерживаются OpenVPN, IPsec, L2TP, MS-SSTP, L2TPv3 и EtherIP, а также собственный протокол ТОП-10 Аудио, видео KMPlayer - скачать Разработчик: KMP Media Corp. Загрузок: 3165522 Бесплатная KMPlayer — медиаплеер с поддержкой проигрывания всех популярных видеоформатов и гибкой настройкой параметров просмотра видео ТОП-10 Загрузка файлов I2P - скачать Разработчик: i2p2 Загрузок: 20616 Бесплатная Cвободный анонимный клиент файлообменной сети, который использует анонимные соединения с помощью сети I2P (Проект Невидимый Интернет) ТОП-10 Загрузка файлов qBittorrent - скачать Разработчик: Gbittorrent Team Загрузок: 28992 Бесплатная Приложение файлообменной сети BitTorrent со встроенным поисковым движком, поддержкой Unicode, Drag'n'Drop, возможностью скачивать только указанные файлы, а не весь торрент, работой через прокси и т.д.

Топ-10 лучших бесплатных VPN приложений SoftEther VPN Client - скачать Разработчик: SoftEther Загрузок: 141887 Бесплатная Бесплатный VPN-клиент. Поддерживаются OpenVPN, IPsec, L2TP, MS-SSTP, L2TPv3 и EtherIP, а также собственный протокол Speedify VPN - скачать Разработчик: Connectify Inc. Загрузок: 1442 Бесплатная Приложение VPN-сервиса Speedify. Одна из особенностей — возможность увеличить скорость защищенного соединения за счет одновременного использования любой комбинации интернет-соединений OpenVPN - скачать Разработчик: OpenVPN Technologies Загрузок: 56862 Бесплатная Решение с открытым исходным кодом для организации виртуальных частных сетей (VPN) Hotspot Shield Free/Elite - скачать Разработчик: Ariane Resnick Загрузок: 46018 Бесплатная Приложение для VPN. Обеспечивает конфиденциальность и безопасность при подключении к Wi-Fi точкам доступа Avira Phantom VPN - скачать Разработчик: Avira Загрузок: 5197 Бесплатная Приложение для обеспечения безопасности соединения, анонимности деятельности и предоставления доступа к любым веб-сайтам из любой точки мира Windscribe VPN - скачать Разработчик: Windscribe Загрузок: 3892 Бесплатная Приложение VPN-сервиса Windscribe, предоставляющего безопасное и анонимное подключение к Интернету. Поддерживаются Windows, Linux, iOS и Android Browsec VPN - скачать Разработчик: Browsec Загрузок: 2378 Бесплатная Бесплатный VPN-клиент в виде расширения для браузеров Chrome, Firefox, Opera, Edge. Зашифровывает весь трафик, скрывает IP-адрес и позволяет иметь доступ к заблокированному контенту Psiphon - скачать Разработчик: Psiphon Inc Загрузок: 5464 Бесплатная Приложение VPN-сервиса Psiphon, позволяющего обезопасить себя при работе в публичных сетях Wi-Fi. Кроме этого, Psiphon облегчает доступ к сайтам и сервисам, которые подвергаются цензуре, блокировке или иным образом недоступны Ultrasurf VPN - скачать Разработчик: Ultrareach Загрузок: 1552 Бесплатная VPN-клиент без необходимости установки, без регистрации, без входа в систему, без ведения журнала и без ограничений пропускной способности Radmin VPN - скачать Разработчик: Famatech Загрузок: 5475 Бесплатная Бесплатная программа для создания виртуальных частных сетей (VPN) Новое: Интернет 24.05.2023 23:59 Директора российской «Википедии» уволили из-за «Свободной энциклопедии» Владимир Медейко покинул должность директора некоммерческого партнерства «Викимедиа РУ», которое развивает русскоязычную «Википедию» 24.05.2023 16:56 В России создадут «Рувики» на замену «Википедии» В России будет создан аналог интернет-энциклопедии «Википедия», он получит название «Рувики» 24.05.2023 15:55 Warner Bros. представила финальный трейлер фильма «Флэш» Кинокомпания Warner Bros. представила финальный трейлер американского супергеройского фильма «Флэш» 19.05.2023 00:32 Вышел трейлер нового фильма Мартина Скорсезе «Убийцы цветочной луны» Кинокомпания Paramount Pictures представила трейлер нового фильма режиссера Мартина Скорсезе «Убийцы цветочной луны» 18.05.2023 14:53 Вышел трейлер фантастического боевика «Создатель» от режиссера «Монстров» и «Годзиллы» Кинокомпания 20th Century Studios представила трейлер американского фантастического боевика «Создатель»

Популярное: Интернет 03.01.2023 17:02 Как опубликовать свою статью на Софтодроме Если вы хотите опубликовать свою статью на Софтодроме, то рассказываем о том, какие статьи нам нужны 25.03.2023 20:25 Песков поддержал Медведева, одобрившего скачивание пиратского контента Пресс-секретарь президента России Дмитрий Песков рассказал, что не умеет пользоваться торрентами, но ему скачивают пиратские копии фильмов 25.03.2023 20:21 Медведев призвал «искать правильных пиратов и скачивать у них» Зампред Совета безопасности России Дмитрий Медведев заявил, что сам бы «разбрасывал» по Сети подобные материалы, чтобы причинить ушедшим правообладателям «максимальный урон, чтобы они обанкротились» 28.06.2019 17:07 В России – самый дешевый безлимитный интернет в мире Россия заняла первое место в рейтинге стран с самым дешевым безлимитным интернетом 31.03.2023 19:29 На «Госуслугах» отключили кнопку удаления учетной записи Это произошло на фоне заявления представителя Генштаба ВС РФ о том, что в ходе весеннего призыва повестки впервые будут направляться и в электронном виде Ищете, где скачать бесплатные программы? Скачать бесплатные программы для компьютера на Windows и смартфона на iOS или Android можно на Софтодроме. На данный момент в каталоге Софтодрома представлено более 13 000 бесплатных программ для Windows, iOS, Android и Linux.