WBAppCEF3 Alpha!

Тема в разделе "Развитие Content Downloader", создана пользователем Root, 20 дек 2021.

  1. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.495
    Город:
    Барнаул
    Приветствую всех.

    Простите, что не отвечаю на сообщения и на форуме. Сильно занят разработкой WBAppCEF3.

    Почти полностью переработал WBAppCEF. Теперь можно парсить с помощью WBAppCEF3 БЕЗ ПЕРЕЗАПУСКА ПРИЛОЖЕНИЯ ПРИ ЗАГРУЗКЕ КАЖДОГО WEB ДОКУМЕНТА!!!

    Это дает снижение нагрузки на ПК и значительный прирост в скорости парсинга через WBAppCEF.

    Пока это Alpha версия и публикую ее для тестов на форуме.

    Скачать сборку можно по этой ссылке Ссылки недоступны для гостей

    Для активации нового режима отключите эту опцию

    2021-12-20_21-27-59.png

    И пробуйте парсить во вкладке "Контент"!

    При запуске парсинга будет открыто количество экземпляров WBAppCEF3 соответствующее количеству потоков.

    Также усовершенствован алгоритм определения готовности загрузки главного фрейма WEB страницы. По этому уберите из списка событий проверку на готовность загрузки и [INSTANTACTIONS]!

    Учтите, это Alpha версия и в ней пока нет всех функций!


    Спасибо!
     
    kadishev1997 и kagorec нравится это.
  2. Serheo

    Serheo Well-Known Member Пользователи

    Регистрация:
    13 окт 2018
    Сообщения:
    245
    Город:
    Москва
    У меня как раз [INSTANTACTIONS] используется. Т.е. его надо просто отключить и WBA сам будет детектировать загрузку страницы или его надо чем-то заменить?
     
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.495
    Город:
    Барнаул
    Просто удалите [INSTANTACTIONS] из списка событий. Это событие мнгновенно запускает список событий при загрузке WEB страницы. Сейчас проверка на завершение загрузки WEB страниц без [INSTANTACTIONS] осуществляется автоматически и после этого происходит запуск списка событий...
     
    Serheo нравится это.
  4. webstep

    webstep Member Пользователи

    Регистрация:
    6 дек 2020
    Сообщения:
    117
    Город:
    Kiev
    Спасибо за доработку. Нужная вещь. я пару дней назад через WBappCef прогнал 30 тыс страниц... ещё то занятие. Но к сожалению всеравно не определяет почты со страницы :
    Ссылки недоступны для гостей - сайт
    events@sara.restaurant - почта
    Ссылки недоступны для гостей - в границе есть ...
    Возможно оно и не должно решить этот вопрос, но я попробовал сайты которые не смог ранее определить почты - то некоторые определились :)
     
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.495
    Город:
    Барнаул
    Пожалуйста

    Почты попозже. Помню про них.
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.495
    Город:
    Барнаул
    Доработал Alpha версию.

    Ссылки недоступны для гостей

    Теперь можно парсить сканером сайтов и во вкладке "Ссылки".

    Завтра планирую наладить передачу Cookie и других данных.
     
    Serheo нравится это.
  7. Serheo

    Serheo Well-Known Member Пользователи

    Регистрация:
    13 окт 2018
    Сообщения:
    245
    Город:
    Москва
    Очень жду поддержку заголовков, юзер агентов, прокси и поддержку вызова макросом WBAPP.
     
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.495
    Город:
    Барнаул
    2021-12-23_01-14-38.png

    Доработанная версия Ссылки недоступны для гостей

    Передача прокси в макросе шаблона вывода [WBAPP] включается отдельно его параметром [USEPROXY] Ссылки недоступны для гостей

    Сделаю передачу других параметров в макрос [WBAPP] позже по запросу и после хорошего тестирования. На данный момент сил не осталось уже.
     
    kagorec нравится это.
  9. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.495
    Город:
    Барнаул
    Рискнул и выпустил обновление
     
    ITz, kagorec и Slavikprof нравится это.
  10. ITz

    ITz Member Пользователи

    Регистрация:
    31 янв 2020
    Сообщения:
    32
    Город:
    Third Rome
    обновление обалденное, и как всегда вовремя) мегареспект
     
    Slavikprof, Serheo и Root нравится это.
  11. ITz

    ITz Member Пользователи

    Регистрация:
    31 янв 2020
    Сообщения:
    32
    Город:
    Third Rome
    и все таки я не понимаю почему при открытии страницы в webapp автоматически не выполняется javascript и прочие "post подарки" от incapsula? галочки везде стоят.. а капча как была так и вылезает( она в IE11 у меня не вылезает а тут постоянно. проблема не в прокси.
     
  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.495
    Город:
    Барнаул
    Какой сайт парсите?
     
  13. ITz

    ITz Member Пользователи

    Регистрация:
    31 янв 2020
    Сообщения:
    32
    Город:
    Third Rome
    после сегодняшнего обновления все заработало, как надо) капчу не просит и открывает страницу сразу) спасибо огромное!
     
    Root нравится это.

Поделиться этой страницей