Парсинг контента доходит до 0 документов в сек. но есть активные потоки

не возможно работать, приходится все время мониторить Content Downloader

Запускаю задание (от 10000 и более ссылок) парсер соберет нужный мне контент с 3000 - 9000 ссылок и потом показывает что скорость 0 документов в сек и какое то количество активных потоков, хотя должен еще собирать и собирать, и программа как бы подвисает.

Ставлю от 10 - 50 потоков (пробовал разные варианты)
Сохраняю все в один csv файл (по 5000 в один файл)
Типа потоков выбрал - TIMECRITICAL (пробовал разные типы потоков)
Источник с которого я собираю контент меня не банит.
Сбор без прокси
И зависание происходит так, я например выбрал 10 потоков, и внизу видно что рабочих потоков 10, и сбор идет нормально, через какое то время потоков становится 9 активных, и потом тоже через какое то время сбор достигает 0 документов, хотя потоков активных 9

В чем может быть проблема, посоветуйте что сделать.
Очень буду благодарен.

 

Вот пример

выставлено 15 потоков и сохранение по 2000 строк в csv файл


а то так реально работать не возможно, мне нужно обработать порядка 250к урлов. и на каждые 2000 ссылок запускать программу не вариант

 

Да у меня порядка 20 - 30 картинок на странице, которые нужно собирать.

 

посоветуете где взять прокси не фришных?

 

А что означает TIMECRITICAL?