Застрял на парсинге сайта с яваскриптами

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем Reset, 16 дек 2013.

  1. Reset

    Reset Active Member Пользователи

    Регистрация:
    16 дек 2013
    Сообщения:
    99
    Собственно вот Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!
    нужно спарсить по всем областям
    затыки:
    1. не могу перелистнуть страницу
    2. не могу поменять в форме данные
    а по дефолту он больше 1000 не выдает

    хотя б ссылки на фирмы получить, остальное уже ерунда
     
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.057
    Город:
    Riga
    Используйте броузер Mozilla с аддоном httpfox , снифером отловите POST data
    Пример, вот ссылка на 5-ую страницу:
    чтобы долго не искать смотрите .....__EVENTARGUMENT=Page%245&.....
    PHP:
    http://bankrot.fedresurs.ru/DebtorsSearch.aspx?ctl00%24PrivateOffice1%24ctl00=ctl00%24cphBody%24upList|ctl00%24cphBody%24gvDebtors&__EVENTTARGET=ctl00%24cphBody%24gvDebtors&__EVENTARGUMENT=Page%245&__PREVIOUSPAGE=E7dqcgRQa-jV6fQyR4kWwD-6ZCJFLlvy095ZMp9RVOWi3yCdBITrLsR04I0wUVEmCZACx_cRVVe4NaC4Cgb9IM8Ot0JrrguveFfsbc7YP2A1&ctl00%24PrivateOffice1%24tbLogin=&ctl00%24PrivateOffice1%24tbPassword=&ctl00%24PrivateOffice1%24tbEmailForPassword=&ctl00_PrivateOffice1_RadToolTip1_ClientState=&ctl00%24DebtorSearch1%24inputDebtor=%D0%BF%D0%BE%D0%B8%D1%81%D0%BA&ctl00%24News1%24hfMaxSize=3&ctl00%24cphBody%24rblDebtorType=Organizations&ctl00%24cphBody%24tbOrgName=&ctl00%24cphBody%24tbOrgAddress=&ctl00%24cphBody%24ucOrgRegionList%24ddlBoundList=&ctl00%24cphBody%24ucOrgCategoryList%24ddlBoundList=&ctl00%24cphBody%24OrganizationCode1%24CodeTextBox=&ctl00%24cphBody%24ucOrgOkopfList%24ddlBoundList=&ctl00%24cphBody%24tbPrsLastName=&ctl00%24cphBody%24tbPrsFirstName=&ctl00%24cphBody%24tbPrsMiddleName=&ctl00%24cphBody%24tbPrsAddress=&ctl00%24cphBody%24ucPrsRegionList%24ddlBoundList=&ctl00%24cphBody%24ucPrsCategoryList%24ddlBoundList=&ctl00%24cphBody%24PersonCode1%24CodeTextBox=&__ASYNCPOST=true&
     
  3. Reset

    Reset Active Member Пользователи

    Регистрация:
    16 дек 2013
    Сообщения:
    99
    Хм...
    спасибо поколупаю, я ж правда подзабыл как POST работать, но вспомню
     
  4. Reset

    Reset Active Member Пользователи

    Регистрация:
    16 дек 2013
    Сообщения:
    99
    Посмотрел нашел, не понял как листать области
    за область отвечает
    ddlBoundList
    но почему то если я меняю параметр, то область не меняется.
     
  5. Progg

    Progg New Member Пользователи

    Регистрация:
    10 дек 2016
    Сообщения:
    8
    Может быть не в тему.
    Есть страница:
    Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!
    Пролистнув ниже увидите- "сообщения" (там 6 сообщений и 15 страниц), можно с помощью программы парсить все страницы с сообщениями, чтобы получить ссылки на эти сообщения?? Буду признателен если подскажете как это сделать или в каком уроке искать ответ..‎ спасибо!
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    13.364
    Город:
    Барнаул
    Можно, но требуется тип лицензии ULTIMATE, так как нужно в браузере имитировать прокликивание по страницам с сообщениями, а обычными GET-запросами пройтись по этим страницам не удается:
    2016-12-10_06-41-19.png
     
  7. Progg

    Progg New Member Пользователи

    Регистрация:
    10 дек 2016
    Сообщения:
    8
    Спасибо, теперь два вопроса:
    1. Действует ли промо коды скидочные на ап программы? (скидка 20%)
    2. Урок есть как делать прокрутку?
     
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    13.364
    Город:
    Барнаул
    Пожалуйста.

    1) Обратитесь по этому вопросу на почту SBFRoot@gmail.com
    2) Можно сделать в течение трех дней
     
  9. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    13.364
    Город:
    Барнаул
    2016-12-10_18-00-49.png 2016-12-10_18-02-28.png 2016-12-10_18-02-55.png 2016-12-10_18-03-39.png
     

    Вложения:

    vanred79 и drvoodoo нравится это.
  10. vanred79

    vanred79 Member Пользователи

    Регистрация:
    17 фев 2017
    Сообщения:
    83
    Здравствуйте! Немного изменил код, wbapp нормально работает и перелистывает, но почему то парсится только первая страница. Подскажите пожалуйста в настройка программы что то нужно сделать?
     

    Вложения:

  11. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    13.364
    Город:
    Барнаул
    Здравствуйте.

    2019-06-08_10-40-34.png
     
    vanred79 нравится это.
  12. vanred79

    vanred79 Member Пользователи

    Регистрация:
    17 фев 2017
    Сообщения:
    83
    почему то парсит только до 19 страницы на 20 странице wbapp закрывается
     
  13. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    13.364
    Город:
    Барнаул
    Потому, что кликов не было и цикл [REPEAT] не перезапустился (так как стоит условие на проверку, был клик или нет).
     

Поделиться этой страницей