Количество обращений к серверу (и снижение вероятности временного бана)

Тема в разделе "Разное", создана пользователем Jusper, 28 май 2019.

  1. Jusper

    Jusper New Member Пользователи

    Регистрация:
    6 авг 2015
    Сообщения:
    27
    Здравствуйте. Настроил повторяющуюся границу, внутру нее еще 10 обычных. Какое количество запросов при парсинге идет к серверу? Для каждой повторяющейся границы по одному или для всех обычных границ или вообще один запрос к серверу?
    У меня высокий риск попасть под бан при количестве запросов, поэтому я хотел сначала скачивать весь хтмл страницы, загружать его на свой сервер и уже с него распарсивать по каждому элементу. Но, посмотрел по количеству запросов к серверу, получается один, что я беру весь хтмл сразу, что я парсю по всем элементам границы. То есть, имеет смысл вообще делать парсинг в несколько этапов, чтобы снизить риск бана по айпи?
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Естественно, производится один запрос.

    Если будет бан по IP, ничего страшного нет, он временный.

    Для снижения вероятности бана можно уменьшить количество потоков и подобрать паузу между запросами (если используется 1 поток).

    Также можно использовать список прокси.
     
    Jusper нравится это.

Поделиться этой страницей