Как ускорить парсинг

Тема в разделе "WBAppCEF", создана пользователем Max3w, 31 окт 2020.

  1. Max3w

    Max3w New Member Пользователи

    Регистрация:
    10 апр 2017
    Сообщения:
    23
    Добрый день. Подскажите пожалуйста почему так долго грузит документы.
    Картинок там минимум, скриншот настроек программы Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!

    Таймауты стоят по 1000 (1с)
    Даже ставил в окне завершать процесс через 2000 - не помогает. При парсинге в 2 потока через IE - две ссылки обрабатывает 10 секунд...

    На всякий случай прикрепляю готовый файл проекта. Подозреваю что грузится реклама гугла но почему процесс не обрывается если я ставлю тайминг 2000? Исполнение скриптов надо т.к. комментарии под статьями загружены с помощью скриптов.
     

    Вложения:

  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    13.152
    Город:
    Барнаул
    Здравствуйте.

    Нужно использовать WBAppCEF (на современном Chromium).

    Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!

    В приложенном проекте ожидание загрузки документов настроено для парсинга контента (для примера).
     

    Вложения:

    Max3w нравится это.

Поделиться этой страницей