Софтодром   


Яндекс ввел директиву Crawl-delay и поддержку GZIP



Новости    Интернет


Яндекс

Теперь вебмастера могут управлять таймаутом, с которым поисковый робот Яндекса закачивает страницы с сервера, - сообщается в блоге Яндекс.Поиск.

Если из-за сильной нагрузки сервер не успевает обрабатывать запросы на закачку, можно воспользоваться директивой "Crawl-delay". Она позволяет задать поисковому роботу минимальный период времени (в секундах) между концом закачки одной страницы и началом закачки следующей.

К тому же, в поисковом роботе Яндекса была добавлена поддержка скачивания сжатого контента. Теперь при каждом запросе документа робот говорит: "Accept-Encoding: gzip,deflate".

Поддержка GZIP означает, что настроив соответствующим образом свой веб-сервер, вебмастера смогут снизить объем передаваемого трафика между ним и роботом Яндекса.




Автор: Softodrom.ru
Дата:

Новое: Интернет
04.07.2025 23:10

«Яндекс» обновил Нейроэксперта

Нейроэксперт — сервис, который сам ищет нужную информацию в файлах и ссылках


01.07.2025 15:17

«Яндекс» отменил плату за большинство функций нейросети «Алиса»

Нейросеть «Алиса» на самых мощных генеративных моделях «Яндекса» теперь доступна всем бесплатно


05.06.2025 19:27

К 2030 году села с численностью от 100 человек обеспечат интернетом

Все населенные пункты в РФ с числом жителей от 100 человек планируется обеспечить высокоскоростным интернетом к 2030 году


30.05.2025 06:36

В Госдуме назвали условия для разблокировки YouTube в России

В Госдуме рассказали, при каких условиях YouTube сможет вернуться к полноценной работе в России


22.05.2025 19:28

Алиса на YandexGPT 5 Lite стала доступна всем

Алиса на YandexGPT 5 Lite стала доступна всем пользователям — на всех устройствах и в чате, даже без подписки Про


Популярное: Интернет
03.01.2023 17:02

Как опубликовать свою статью на Софтодроме

Если вы хотите опубликовать свою статью на Софтодроме, то рассказываем о том, какие статьи нам нужны


25.12.2023 14:13

Суд отправил жительницу Петербурга в психбольницу за фейки про армию в соцсети

Калининский районный суд Санкт-Петербурга вынес приговор местной жительнице за фейки в соцсети «ВКонтакте»


27.12.2023 13:09

Фильм «Догмен» Люка Бессона выйдет в российских онлайн-кинотеатрах

Российская премьера нового фильма «Догмен» режиссера Люка Бессона состоится в онлайн-кинотеатрах, но в прокат в обычных кинотеатрах фильм в России не выйдет


26.12.2023 18:10

Доходы пиратов выросли на 71% после ухода Netflix и Голливуда

На фоне роста нелегальных сервисов официальные аудио- и видеостриминговые сервисы находятся в стагнации, отмечают аналитики


24.12.2023 16:49

Ведущий шахматный портал заблокировал Крамника за критику в свой адрес

Российский шахматист в очередной раз раскритиковал руководство платформы из-за отсутствия серьезных мер по борьбе с читерством


Все рубрики статей (2401 / 154):


Программы | Авторам | Рассылки | Реклама
Copyright © 1999-2025 Softodrom.ru
О проекте | О перепечатках | Пользовательское соглашение | Политика конфиденциальности | Карта сайта