Как ускорить парсинг

Тема в разделе "WBAppCEF", создана пользователем Max3w, 31 окт 2020.

  1. Max3w

    Max3w New Member Пользователи

    Регистрация:
    10 апр 2017
    Сообщения:
    28
    Добрый день. Подскажите пожалуйста почему так долго грузит документы.
    Картинок там минимум, скриншот настроек программы Ссылки недоступны для гостей

    Таймауты стоят по 1000 (1с)
    Даже ставил в окне завершать процесс через 2000 - не помогает. При парсинге в 2 потока через IE - две ссылки обрабатывает 10 секунд...

    На всякий случай прикрепляю готовый файл проекта. Подозреваю что грузится реклама гугла но почему процесс не обрывается если я ставлю тайминг 2000? Исполнение скриптов надо т.к. комментарии под статьями загружены с помощью скриптов.
     

    Вложения:

  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Нужно использовать WBAppCEF (на современном Chromium).

    Ссылки недоступны для гостей

    В приложенном проекте ожидание загрузки документов настроено для парсинга контента (для примера).
     

    Вложения:

    Max3w нравится это.
  3. Trenikola

    Trenikola Member Пользователи

    Регистрация:
    8 июн 2013
    Сообщения:
    60
    Добрый день!
    Могу ли я Вам скинуть файл wbapp для проверки - возможно ли ускорение!?
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Если скините на Whatsapp
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    То придется за это оплатить 500 рублей.

    Если сюда, возможно, посмотрю бесплатно.
     
  5. Trenikola

    Trenikola Member Пользователи

    Регистрация:
    8 июн 2013
    Сообщения:
    60
    Скину в ватсап
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Увы, у меня ссылки из вашего проекта в браузере не открываются (даже с мобильного устройства).

    Вот инструкция, как дожидаться готовности загрузки WEB страниц Ссылки недоступны для гостей

    Это не сложно, проделайте самостоятельно.
     

Поделиться этой страницей