Контент заполняется в javascript

Тема в разделе "Решение различных задач по парсингу", создана пользователем PAAG, 12 мар 2014.

  1. PAAG

    PAAG New Member Пользователи

    Регистрация:
    12 мар 2014
    Сообщения:
    11
    Привет!
    Попался хитрый сайт, где часть контента заполняется через javascript.
    Если бы скрипты выполнялись при парсинге, проблем бы не было, но они не выполняются и я вижу только пустоту.

    Пример. Есть html,
    HTML:
    <span data-type="content" data-key="928913a7c4868268488e266df2cbcd69"></span>
    И скрипт (весь приводить не буду)
    HTML:
    $element.replaceWith(Base64.decode(contentData[key]));
    Все данные лежат массивом в этом же скрипте.

    Что можно сделать с такой штукой?

    или как-то можно включить работу скриптов? Это было бы самым идеальным, но я не нашел как это сделать.
     
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    Нажмите сочетание клавишь ctrl+h и активируйте обработку DOM, помимо этого в новой версии появились автоматизирование действий (прокрутить страницу, нажать кнопку, подождать, оправить текст и т.д.)
     
  3. PAAG

    PAAG New Member Пользователи

    Регистрация:
    12 мар 2014
    Сообщения:
    11
    Включил, но при этом перестали работать большинство границ парсинга, как так? А до этого работали.
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Код берется из включенного Internet Explorer, он там другой. Перезадайте границы.
     
  5. PAAG

    PAAG New Member Пользователи

    Регистрация:
    12 мар 2014
    Сообщения:
    11
    Да, у осла код совсем другой, и теги заглавные, и кавычек нет и т.д. Спасибо!
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Пожалуйста, обращайтесь снова!
     
  7. PAAG

    PAAG New Member Пользователи

    Регистрация:
    12 мар 2014
    Сообщения:
    11
    С включенной галкой довольно медленно идет парсинг, кроме того, вот с чем столкнулся, сначала парсилось относительно нормально 1 страница в секунду, а потом все стало зависать и не парсится ни одной. Если открыть двойным щелчком, то все ок, а вот запускаю парсер, даже в 1 поток, и все равно 0 страниц в секунду и все.
    Что делать? Сайт большой и хочется ускорить процесс.
     
  8. PAAG

    PAAG New Member Пользователи

    Регистрация:
    12 мар 2014
    Сообщения:
    11
    Пробовал перезапускать программу - не помогает.
     
  9. PAAG

    PAAG New Member Пользователи

    Регистрация:
    12 мар 2014
    Сообщения:
    11
    И остаются зависшие процессы WBApp, если их не завершить, то при повторном запуске программа ругается

    Парсинг идет без проксей напрямую.
     
  10. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Перезагрузить ПК, так как ваш IE начал виснуть. IE медленный, ничего не поделать, только если парсить без его использования, подгружая данные таким методом Ссылки недоступны для гостей (гораздо быстрее и стабильнее)
    Пробуйте обновить IE! Какая у вас OS?
    PS: Вы хотите мчаться на, как вы говорите, осле, со скоростью 200 км/час - это невозможно!
     
  11. PAAG

    PAAG New Member Пользователи

    Регистрация:
    12 мар 2014
    Сообщения:
    11
    Да, вытащить то скрипт я бы смог, так ведь его же еще надо выполнить, а вот как это сделать? Там не просто данные лежат, там они зашифрованы, да еще и для каждой страницы свои :(
    WinXP IE8.0
    Конечно, он тормозной, я бы и не пользовался, если бы скрипты можно было выполнить как-то.
     
  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Попробуйте хотя бы IE Обновить до 11 версии =)
     
  13. PAAG

    PAAG New Member Пользователи

    Регистрация:
    12 мар 2014
    Сообщения:
    11
    А разве 8-ка не предел для XP? Поищу тогда, хотя, скорости это вряд ли прибавит. надо еще искать варианты.
     
  14. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Я точно не знаю, какой там предел.
    Если у вас есть другой ПК, например, с Windows7, то программу можете перенести туда (можно переносить 1 раз в двое суток).
    Других путей для вас я не вижу =)
     
  15. PAAG

    PAAG New Member Пользователи

    Регистрация:
    12 мар 2014
    Сообщения:
    11
    Понял, спасибо! Проверяю еще один вариант.
     

Поделиться этой страницей