Как сервер «Отмерь» проверяет сайты магазинов

«Отмерь» — сервис, который следит за ценами на одежду, обувь, аксессуары и вещи для дома в нескольких интернет-магазинах и пишет человеку, когда цена дошла до его условия. Раз в сутки наш сервер OtmeritBot проверяет открытые страницы каталогов магазинов.

Как его узнать

В заголовке User-Agent:

OtmeritBot/1.0 (+https://otmerit.ru/bot)

Запросы идут с серверов Yandex Cloud в России.

Что он берёт

Название, бренд, цену, размеры в наличии, цвет, категорию и ссылку на страницу товара.
Чтобы карточки открывались быстрее, сервер может загрузить фото по ссылке из каталога, который магазин передаёт партнёрской сети, и хранить его уменьшенную копию. Фото только уменьшаем, сохраняя пропорции: без обрезки, надписей и фильтров. Копию удаляем, когда вещь пропадает из каталога. Фото загружаем по одному, с паузой в несколько секунд; если сервер с фото ответил отказом или капчей, до следующего дня к нему не обращаемся. Фото со страниц сайтов к себе не загружаем — показываем по ссылке с сайта магазина.
Описания товаров, отзывы и имена продавцов не берём.
У каждой вещи в «Отмерь» указан магазин и есть ссылка на страницу товара на его сайте.

Проверка отдельных вещей

Сервер открывает страницы отдельных вещей, когда каталог магазина о них неполон или сомнителен: вещь из списка человека пропала из каталога или отмечена «нет в наличии»; у вещи нет размеров; цена резко изменилась или выглядит ошибкой. Читает только наличие, цену, размеры и адрес фото. Не больше 500 страниц одного магазина в сутки, одна страница — не чаще раза в сутки, один запрос в несколько секунд.

Как он бережёт сайт

Соблюдает robots.txt: правила Disallow и Crawl-delay.
Отправляет запросы по одному, с паузой не меньше секунды. Если можно, читает страницы каталога, а не каждую карточку товара.
Если сайт ответил 403 или 429 или показал капчу, проверка этого магазина останавливается до следующего дня.
Не обходит защиту сайтов: не меняет IP-адреса, не выдаёт себя за браузер, не решает капчу.

Как остановить проверку

Добавьте в robots.txt вашего сайта:

User-agent: OtmeritBot
Disallow: /

Мы учтём это при следующей проверке. Чтобы удалить и уже сделанные копии фото, напишите на hello@otmerit.ru: уберём сведения о ваших товарах с показа, удалим копии фото и остановим проверку не позднее следующего рабочего дня после получения письма.