Развитие многовкладочного браузера для парсинга

Выберите кодировку ANSI или UTF-8 в окне задания границ парсинга.

 

маленькая скорость почему-то. 10 вкладок и одна вкладка тратит на каждое открытие по 05,-1 секунде. от чего скорость зависит?

вот список ссылок

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 99 постов.**

 

Сергей нужно добавить возможность копирования ссылок которые загружаем для парсинга. Ситуация следующая. Я вставляю ссылки для прасинга, например яндекса, через 3 ссылки вылезает капча или прочие прелести, останавливаем парсинг. Вниз сохранились 3 ссылки с результатом html, 7 ссылок не обработанные. Вот эти 7 ссылок сейчас никак не скопировать.
Есть ли возможность прикрутить проверку содержимого страницы вкладки на наличие текста. Если вылезает капча то страница бы не сохранялась с капчей.

 

Добрый день!

Добавлю свои наблюдения, котррые успел заметить:
1. Было бы полезно использовать свой проект WBApp. Скрипты отрабатывают, но что если для прогрузки страницы не нужно выполнение скриптов, а только дождаться, например нужного элемента. Скорость бы еще увеличилась.
2. Если закрыть WBApp2 не сохранив ссылки и повторно войти в него, то спаршенные в последний раз ссылки не сохранились.
3. При сборе ссылок по sitemap и использовании опции "Автоматический запуск парсинга контента или ссылок после загрузки карты сайта" происходит обычный парсинг во вкладке "Контент". Хотя галочка автоматического запуска WBApp2 стоит.
Спасибо огромное, функционал классный!

 

У меня в проекте запись файла происходит раньше скрипта подгрузки сайта, и еще- файл htm всегда одного размера, без нужных данных. Кнопка JS включена)

вот ссылки для примера

Ссылки недоступны для гостей
Ссылки недоступны для гостей
Ссылки недоступны для гостей

Посмотрите, пож-та! Заранее благодарен!

 

Добавьте возможность выбора папки сохранения результатов, чтобы не приходилось заново прогонять урлы, а использовать старые результаты

 

Отличная программа! Процесс парсинга ускорился во много десятков раз по сравнению с WBApp. Спасибо!

P.S. Хотя сейчас посмотрел и не всегда почему-то удается получить нужные данные. Только некоторые страницы. Причину не могу понять. Уже и кеш чистил, и тайм-аут менял.

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 100 постов.**

 

Что то немного затупил, а как сюда передать авторизацию на сайте?

 

Как связывать список файлов со ссылками? Это основное препятствие в использовании плагина