Как происходит выбор прокси из списка при парсинге

Тема в разделе "Прокси для парсинга", создана пользователем bodiaSBK, 30 янв 2019.

  1. bodiaSBK

    bodiaSBK New Member Пользователи

    Регистрация:
    30 янв 2019
    Сообщения:
    14
    Город:
    Kiev
    Добрый день, подскажите можно ли распределить нагрузку по разным прокси для одновременного парсинга, так как часто случается что сайт ограничивает количество загрузок с 1го ип.
    Я имею ввиду что бы на каждую страницу или 5 страниц использовался разный прокси, а не 1н долбил пока не уйдет в бан.

    Спасибо
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    При загрузке каждого следующего документа берется новый прокси. Несколько подряд-идущих запросов с одним и тем же прокси НЕ производится.
     
Similar Threads
  1. satdata
    Ответов:
    4
    Просмотров:
    2.475
  2. ПолныйТормоз
    Ответов:
    2
    Просмотров:
    719
  3. Atms
    Ответов:
    10
    Просмотров:
    46.177
  4. Atlas
    Ответов:
    18
    Просмотров:
    1.076
  5. nail
    Ответов:
    3
    Просмотров:
    420
Загрузка...

Поделиться этой страницей