Как производить повторную перезагрузку WEB-страницы со сменой прокси при парсинге

Тема в разделе "Решение различных задач по парсингу", создана пользователем Kreol, 9 мар 2017.

  1. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Приветствую.
    Возможно ли сделать функционал, который по ключу будет перезагружать прокси , а соответственно и документ?
    Проблема в том, что есть сайт, который выдает строку
    "Превышено число запросов" и ip попадает в бан
    а в другой раз выдает капчу, с капчей то решаемо, но вот с превышением числа запросов – нет.
    Переходя на 2-3 видим ту же самую картину, но например на 5-м прокси у нас все нормально работает.
    Можно ли как-то обходить данную ситуацию?
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 300 постов.**
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
  3. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    спасибо, буду пробовать
     
  4. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Сереж, а куда именно вставлять этот макрос? Что-то я по нему справку не могу найти
     
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Если это макрос шаблона вывода, значит его нужно помещать в шаблон вывода, что очень логично! Проверку (нужно выводить этот макрос или нет) делайте с помощью макроса [CHECKENTRY] что тоже логично и должно быть очевидно для вас!
     
    Последнее редактирование: 10 мар 2017
  6. Serheo

    Serheo Well-Known Member Пользователи

    Регистрация:
    13 окт 2018
    Сообщения:
    251
    Город:
    Москва
    А есть какой-то аналог RELOADDOCUMENT при парсинге ссылок? А то надо обойти 100+ страниц пагинации, CD не может загрузить очередную страницу и дальнейший обход пагинации прекращается. Хотелось бы иметь возможность указать количество попыток повторных загрузок страницы со сменой прокси. Такая возможность в CD есть?
     

Поделиться этой страницей