Как увеличить скорость парсинга?

Всем привет!
Настроил программу на парсинг ссылок с прокси, все работает отлично. Большое спасибо разарботчикам
Подскажите, возможно ли использовать парсинг ссылок в несколько потоков для увеличения скорости? Пока как решение вижу только установку программы на второй комп, но это неудобно, да и ноут может не выдержать такого натиска
Может есть смысл арендовать несколько удаленных рабочих машин для этих дел (не уверен что это так назвывается) и запустить на них по программе?

 

Здравствуйте.

Используйте для парсинга ссылок сканер сайтов (ctrl+7), он работает в многопоточном режиме.

С уважением к вам, Сергей...

 

Подскажите, требуется ли еще что-нибудь настраивать при использовании сканера или достаточно добавить ссылки из списка парсинга?
Сейчас у меня настроен обычный поиск ссылок в один поток и все работает (использую много настроек в фильтре ссылок). Когда включаю сканер и начинаю запускать ссылки, то какая-то работа идет, но ничего не находится и в логе парсинга никакой истории не сохраняется. Единственная цель использования сканера сайтов для меня состоит в многопоточности.

 

У меня также не получается добиться хорошей скорости парсинга на конкретном ресурсе. До этого парсил др сайты, там скорость достигала 10-12 док в сек., а текущий "донор" не получается спарсить выше 0,3-0,6 док в сек. Парсится только определенное поле с текстом, удаляются {br} и html теги. При предпросмотре страница загружается довольно быстро. В настройках http запросов используется INDY, паузы между запросами нет. пробовал выставлять потоки по-разному - от 1 до 50 - результат одинаковый. Может сможет кто что-то подсказать, что подкрутить в cd, чтобы быстрее пошло, а то уж больно много страниц нужно спарсить.

 

Пробовал через список прокси - вообще не парсит. Замирает все - скорость парсинга 0.

 

Если, не ошибаюсь при предпросмотре - документ кешируется - визуально скорость парсинга быстра

Может прокси в бане у конркетного сайта, который вы пытаетесь парсить, или прокси не поддерживает передачу POST запросом

 

безусловно вы правы, но я надеялся, что с настройками можно поиграться и получить нужный результат