Авторизация на сайте, в нескольких аккаунтах

Тема в разделе "Решение различных задач по парсингу", создана пользователем IvanStrashko, 18 сен 2020.

  1. IvanStrashko

    IvanStrashko Member Пользователи

    Регистрация:
    11 май 2018
    Сообщения:
    51
    Город:
    Москва
    Здравствуйте, помогите пожалуйста с задачей
    есть сайт, для парсинга на нем нужно залогинеться,
    но суть в том что у них ограничения на открытие страниц,
    я могу залогинеться на сайте и открыть всего 300 страниц, которые мне нужно спарсить.
    а парсить нужно в среднем 10000 страниц в сутки.
    Можно ли настроить авторизацию на сайте применяя 40 аккаунтов?
    И чтоб при парсинге по истечению лимита на открытие 300 страниц,
    происходила с следующего аккаунта, и так по очереди.
    Может можно сделать это с применением WBApp?
     
  2. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    310
    Да. С помощью комбинации макросов [WBAPP], [CHECKENTRY] или [INT_ID]
    В [WBAPP] Есть возможность передавать данные с помощью CDATA. В этих CDATA можно поместить файлы с логинами/паролями для авторизации.
    [CHECKENTRY] может проверить наличие ошибки на сайте (если, при парсинге больше 300 страниц выдает какую-либо ошибку о лимите)
    Либо сделать с помощью [INT_ID], где будет сбрасываться значение после 300 страниц обработки парсинга.
    По всем макросам есть соответствующие ссылки в системе помощи CD
     
  3. IvanStrashko

    IvanStrashko Member Пользователи

    Регистрация:
    11 май 2018
    Сообщения:
    51
    Город:
    Москва
    Спасибо Вам за помощь, буду пробовать настроить.
    Признателен!
     
    kadishev1997 нравится это.

Поделиться этой страницей