Ожидание AJAX подгрузки перед парсингом

Тема в разделе "Решение различных задач по парсингу", создана пользователем gruz, 12 июл 2013.

  1. gruz

    gruz New Member Пользователи

    Регистрация:
    4 окт 2011
    Сообщения:
    3
    Подскажите пожалуйста, как реализовать такое:

    страница сайта загружена 100% и CD ее сразу начинает парсить,

    а на странице присутствует AJAX подгрузка доп. данных, которые в парсинг не успевают попасть

    есть ли выход в такой ситуации?

    спасибо
     
    Последнее редактирование: 12 июл 2013
  2. alamina.moon

    alamina.moon Модератор Команда форума Модератор

    Регистрация:
    14 янв 2013
    Сообщения:
    214
    Поиском по форуму про сниффер и httpfox.
    Смысл в том что аякс так же подгружается просто с другого адреса, поэтому достаточно выяснить откуда и забирать его с той странице в виде открытого кода, а дальше можно делать все что угодно.
     
  3. gruz

    gruz New Member Пользователи

    Регистрация:
    4 окт 2011
    Сообщения:
    3
    я находил такие темы, это бы мне подошло если бы событие наступало после нажатия какой-то кнопки, или требовало действия от пользователя,

    но так, как данные просто загружаются через пару секунд, зачем так извращаться, если просто можно выставить задержку перед парсингом? (но такого скорее всего нет?)

    к тому же данные аякс подгружаются в 4 местах, что еще более усложняет

    если такого в программе нет, то неплохо было бы реализовать
     
  4. Serheo

    Serheo Well-Known Member Пользователи

    Регистрация:
    13 окт 2018
    Сообщения:
    251
    Город:
    Москва
    Вот тоже в тему вопрос. На локальном компе, когда делал проект было все зашибись. Но когда запустил парсинг на сервере все страницы начали отдавать "Checking your browser before accessing" с паузой в 5 сек. Переделывать все под Wba ну прям очень не хочется. Есть ли просто банальная пауза между запросом и загрузкой кода?
     
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    2020-08-08_13-47-05.png
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул

Поделиться этой страницей