Парсинг данных подгружаемых скриптом

Тема в разделе "Решение различных задач по парсингу", создана пользователем pagemaster, 16 сен 2015.

  1. pagemaster

    pagemaster New Member Пользователи

    Регистрация:
    15 янв 2015
    Сообщения:
    43
    Здравствуйте!
    Про HTTP заголовки и макрос GETMORECONTENT наслышан и пользовался, но здесь чуток другая ситуация... есть страница с результатами
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    с нее и остальных n-страниц нужно собрать ссылки на компании, но вот дело в том что постраничная навигация там то ли через asp.net как то сделана, то ли через js...

    В общем жду помощи от знатаков =)

    P.S. Получалось парсить через WBApp, но он загибался через несколько десятков страниц... а там несколько тысяч страниц...
    вот сценарий:
    [HTMLPOINT]
    [CLICK][innerhtml][N]0[/N][FULL]:след.
    [WAIT]:15000
    [GETHTML]
    [HTMLPOINTCHECK]
    так я по 300 компаний со страницы брал. В общем нужно более эффективное и рабочее решение...

    Заранее благодарен =)
     
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Mozilla +addon iMacros - каждый клик это новая страница которая сохраняется на диск, потом можно сохраненные файлы распарсить на наличие ссылок в C.D.
     
  3. pagemaster

    pagemaster New Member Пользователи

    Регистрация:
    15 янв 2015
    Сообщения:
    43
    если бы обьяснил как в iMacros прописать чтобы файлы сохранялись с названиями "file_1.html" "file_2.html" и т.д.... нашел как только вставлять какие то данные типа даты, но это не катит...
     
  4. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Материалы по теме
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
  5. pagemaster

    pagemaster New Member Пользователи

    Регистрация:
    15 янв 2015
    Сообщения:
    43
    FILE=+file_{{!NOW:yyyymmdd_hhnnss}}.html так я уже пробовал, но тогда получается куча файлов с различным названием (время то разное записывает вплоть до секунд) и в конце как мне прописать все эти файлы в CD?
    А вики я и сам находил, и страницу о SAVEas, правда нужного примера там не нашел.
     
  6. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Ссылки недоступны для гостей
     
  7. pagemaster

    pagemaster New Member Пользователи

    Регистрация:
    15 янв 2015
    Сообщения:
    43
    Спасибо большое за помощь, сохранил около 400 страниц и потом их распарсил. Не перестаю удивляться возможностями CD =)
     
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Приношу свои извинения за очень долгий ответ.

    Вот материал системы помощи по вашему вопросу Ссылки недоступны для гостей

    С уважением к вам, Сергей...
     
  9. Serheo

    Serheo Well-Known Member Пользователи

    Регистрация:
    13 окт 2018
    Сообщения:
    251
    Город:
    Москва
    Наткнулся на интересный сайтик, который при включении "Монитора сети" в Фаерфокс перестает работать: Ссылки недоступны для гостей

    Там надо сначала выбрать страну и язык (кому что привычнее). Далее там появляется поисковая строка с выпадающими списками марок машин, моделей и периодов выпуска. Так вот при включении монитора сети эти выпадающие списки перестают работать. А как получить данные тогда?
     
  10. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Что-то с сайтом не так, у меня он вообще не хочет прогружаться и без включенного монитора сети.

    2020-03-05_14-29-52.png
     
  11. Serheo

    Serheo Well-Known Member Пользователи

    Регистрация:
    13 окт 2018
    Сообщения:
    251
    Город:
    Москва
    У меня грузится, но вместе с включенным монитором сети перестает адекватно работать.
     
  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Я не знаю, в чем проблема.
     

Поделиться этой страницей