Развитие многовкладочного браузера для парсинга

Скачать WBApp2 можно здесь Ссылки недоступны для гостей





Программа WBApp2 разрабатывается на основе Chromium (CEF - Chromium Embedded Framework) и служит для быстрого парсинга WEB страниц с помощью движка браузера.

В WBApp2 реализована многовкладочность для многопоточного парсинга WEB страниц.

 

Сегодня добавлены опции для включения/отключения загрузки картинок и выполнения Javascript.

Выключите картинки и Javascript для более быстрого парсинга.

 

Добавлена возможность использовать список прокси-серверов.

Подходят прокси IpV4 HTTP(S)/SOCKS4
SOCKS5 почему-то у меня не сработали в Chromium.

 

Если можно, под хайдом приложите список ссылок и прокси, проверю.

 

Проверю, спасибо.

 

Да, есть проблема с доступом к интерфейсу. Постараюсь решить.

Но зависаний не заметил, процесс должен дойти до завершения.

 

Вроде исправил.

 

Добавлена опция паузы между запросами
В заголовках вкладок теперь отображается статус загрузки и количество скачанных этой вкладкой WEB документов
Множество других доработок

 

супеер. то что надо, спасибо! будем тестить

 

А, во, появилась темка! (когда писал коммент из 4-ёх пунктов Ссылки недоступны для гостей тут, её ещё не было ).
Хотел предложить там, но лучше уж тут. Хотел предложить создание темы именно на форуме, чтобы больше людей увидело. Но это уже сделали.
Поэтому предложу, разместить её на главной форума, даже над "Связь с разработчиком" да и выделить каким-нибудь выжигающим глаза цветом
По моему мнению, там намного больше людей увидят тему (сам вообще случайно зашёл на главную сайта, ибо больше смотрел форум).
Я думаю многие пользователи поймут такой ход и не осудят, ибо для них же и делается.
Смысл: больше людей - больше нестандартных идей для разработки, что всем пойдёт только на пользу.

 

Посмотрев видео по горко.ру
Что я могу сказать... Просто одним словом... ВАУ!111
Это на самом деле классная идея распределять ссылки под парсинг не как каждую, в новом инстансе браузера, а по вкладкам, без перезапуска инстанса. Но, это для простых сайтов наверное только подойдёт. А как на счёт сложных с защитами? (я просто не знаю как реализованы вкладки и их зависимость между собой с другими открытыми вкладками).
Вот например, если бы вот каждой вкладке помимо своей прокси - выдавалался бы свой юзер-агент (например из списка заданныХ) да и куки-контейнер бы наполнялся(посто из того, по чему переходил до этого), то было бы очень неплохое решение в связи с массовым добавлением recaptcha v3 на сайты, которая как раз и основывается на истории посещений(Но это так, задел на будущее).


С удовольствием буду периодически заходить в тему и отписываться по безумным идеям, которые придут в голову

 

P.S. Чтобы не потерялось. Чекер прокси прямо при парсинге, который проверяет наличие определённого текста в html коде странички. Если есть - сохраняем, если нету - то не сохраняем и кидаем ссылку в конец списка для дальнейшего парсинга. Естественно, опция вкл/выкл.

 

Очень хорошое дополнение, скорость парсинга увеличилась, тестирую. Спасибо!

 

Всем доброго дня/ночи. Было бы ещё неплохо добавить возможность самостоятельно указывать путь сохранения документов. В нынешнее время думаю уже у многих софт стоит на ssd, а данные возможно парсятся на hdd (если их много). Для большинства пользователей думаю это не критично, но... Есть ещё извращенцы вроде меня

Спойлер: Картинки

 

Теперь можно использовать WBApp2 в связке с Content Downloader

Ссылки недоступны для гостей

 

всем привет,

Сергею большое спасибо за скоростное нововведение WebApp2, соглашусь со всем вышесказанным, добавлю от себя:

проксики очень важная вещь, их нужно проработать по максимуму, возможно даже с внешними обработчиками

популярная защита incapsula если кто еще не в курсе перед заходом на сайт запускает свой "маленький" java script в нашем броузере на долю секунды и ждет возврата данных из него, в целом проблем с этим нет если у вас внешний ip с высоким рейтингом и подходящим country code и используются разумные настройки парсинга, в противном случае нужно использовать много прокси с проверкой на капчу (подгрузку правильного ответа с сайта), считаю реализацию последнего самым оптимальным решением

цель по прежнему проста сделать так, что-бы системы защиты думали, что мы обычные пользователи, и да - в 21 году работать и парсить без ссд бредовая идея..

 

у меня какая-то проблема с кириллицей. пробовал разные сайты. вот везде такие вопросики