Падает количество потоков

Здравствуйте!
Столкнулся с проблемой при парсинге по такому проекту.
Ставлю 50 потоков, программа какое-то время работает нормально, но через некоторое время (каждый раз по разному) начинается снижение количества потоков. Потоки снижаются пока программа не остановится полностью. Фактически парсинг не остановлен, процесс запущен, но т.к. потоков - 0, то соответственно программа ничего не парсит.
Пробовал ставить CD на трех разных компьютерах, но эффект один. Вариант бана на сайте вряд ли имеет место быть, т.к. ссылки в базе на разные сайты. Брандмауэр полностью отключен, антивирусника на компьютере нет.
Заранее благодарен за помощь!

 

Здравствуйте.

Простите, не увидел по ссылке упомянутого вами проекта, прошу предоставить.

 

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1000 постов.**

 

Простите, где ссылки? На чем тестировать? Список ссылок пуст.

 

Я использую функцию "парсинг большого количества web-документов", т.к. в базе несколько десятков миллионов ссылок. За раз подгружается по 50 тыс. ссылок. Раньше, до появления этой функции, разбивал базу на мелкие файлы (по 100 тыс.). Для теста приложу выборку из базы. В выборке около 850 тыс. ссылок, если не хватит для теста, я скину больше.

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1000 постов.**

 

Потестировал - проблем не обнаружил.

После того, как у вас опять потоков 0 станет, нажмите в программе: меню - сервис - текущие элементы при (парсинге во вкладке "контент") и скопируйте содержимое этого окна сюда на форум. Далее постараемся помочь. Спасибо!

 

Здравствуйте!

Вот содержимое окна, которое вы просили:

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1000 постов.**

 

Попробуйте парсить в 20 потоков. Документы большие, предположительно: не хватает выделенной программе памяти.

 

Также можете попробовать нажать ctrl+h и в поле "максимальное количество символов в загружаемом коде" поставить значение, скажем 220000.

 

Документы просто огромные:

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

 

Действительно, дело в огромных документах. Почистил базу от этого мусора, теперь процесс идет нормально на 50-ти потоках.

Спасибо за помощь!

 

Пожалуйста, обращайтесь.