Качественный парсинг

Здравствуйте.
Настроил программу, проработала я ее отложил и забыл
Недавно посмотрел, видимо из-за высокой скорости парсинга страницы не успели загрузиться и 90% страниц пустые.
Установил вручную 1000 мс, 5 потоков, программа работала 4 суток но в принципе справилась с 91893 страницы, в конце правда так и не смогла завершить работу, показывала несколько часов что осталось 13 секунд до конца и так висела несколько часов.

Есть ли возможность ускорить работу программы при этом сохранить качественный парсинг.
Не знаю, признак загрузки страницы какой-то, наличие элемента на нем

 

Здравствуйте.

Нужно подобрать оптимальное количество потоков (без паузы между запросами), чтобы ваш сайт отдавал все страницы без пропусков.

С уважением к вам, Сергей...