Пауза при парсинге JSON

Тема в разделе "Решение различных задач по парсингу", создана пользователем dimochkaorg, 27 июн 2023.

  1. dimochkaorg

    dimochkaorg Active Member Пользователи

    Регистрация:
    25 мар 2017
    Сообщения:
    204
    Всем привет!
    Картина маслом такая. Источник json - парсится все легко и на ура, но долбанный сайт отдает JSON не постранично, а сразу все на первой странице. Ну грубо скажем 500 товаров. Т.к. парсинг реализован через повтор. границы, а урл в проекте всего один (раз все отдается сразу по первой ссылке), как мне не тащить сразу 500 картинок для 500 товаров. Как сделать чтобы это делалось постепенно, потому как сайт начнет банить, когда у него попытаешься стянуть одновременно 500 картиночек. Есть настроечка какая.? Скачиватьи и бить json не хотелосьбы - извращение это.
     

Поделиться этой страницей