Вопрос по авторизации через wbapp

Тема в разделе "Решение различных задач по парсингу", создана пользователем senya0609, 13 сен 2017.

  1. senya0609

    senya0609 New Member Пользователи

    Регистрация:
    12 июн 2017
    Сообщения:
    15
    Город:
    Лисичанск
    С помощью wbapp парсю сайт, который выдает данные после нажатия на определенные кнопки. У меня большой список ссылок откуда нужно собрать данные. Каждый раз когда wbapp открывает очередную ссылку, сайт требует авторизации. То есть получается я авторизуюсь много много раз через каждые 15-20 сек. Что не есть хорошо.
    Вопрос как сделать что бы wbapp авторизовался один раз и переработал все ссылки или авторизовался один раз и использовал данные авторизации в дальнейшем при обработки очередной ссылки?
    Я просто не понимаю как передать список ссылок в wbapp или как сохранить и использовать настройки авторизации для других ссылок
     
  2. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    8.112
    Адрес:
    sbfroot@gmail.com
    Город:
    Краснодар
    Некоторые сайты сбрасывают авторизацию, когда браузер перезапускается. Не вижу вариантов обхода.
     
  3. senya0609

    senya0609 New Member Пользователи

    Регистрация:
    12 июн 2017
    Сообщения:
    15
    Город:
    Лисичанск
    А как насчет возможности передать список ссылок в wbapp? Что бы потом внутри него в цикле пройтись по этому списку при таком варианте сайт позволяет ходить по ссылкам без повторной регистрации..

    И сразу еще вопрос как внутри wbapp выбрать все ссылки на открытой странице и пройтись по ним не выходя из wbapp. Как это реализовать? Сейчас проблему решил так:
    1 сначала в wbapp сохраняю весь хтмл открытой страницы (или нескольких открытых страниц в пределах одного обращения к сайту) с помощью gethtml
    2. возвращаю этот хтмл из wbapp в CD, далее в циклической границе перебираю все ссылки и отправляю их поочередно обратно в wbapp на обработку(при каждом обращении логинюсь заново)
     
  4. senya0609

    senya0609 New Member Пользователи

    Регистрация:
    12 июн 2017
    Сообщения:
    15
    Город:
    Лисичанск
    P/S Изначально у меня задача стояла собрать данные с закрытого сайта полностью имитируя работу живого человека. Медленно, с паузами, с нажатием на кнопки и т.п. Но поскольку часть страниц возвращенных wbapp содержала в себе все необходимые данные сразу после первого захода я их обрабатывал в CD. А те страницы в которых нужно было "пройтись по ссылкам" пришлось возвращать обратно в wbapp на доработку.
     

Поделиться этой страницей