Процесс парсинга контента со временем останавливается

Ситуация такая:

Ставлю проект на парсинг 15000+ урлов.
3 потока, задержка 1+ сек (специально тестирую, чтобы не грузить сильно проц).
500 проксей.
Первые несколько сотен урлов парсятся нормально, может и тысячу+ спарсить.

Потом парсинг прекращается. Статус бар контент даунлоадера показывает, что процесс идет, но скорость по нулям, в логах новые урлы не появляются, ошибок нет.

В чем может быть дело?

 

Версия программы от 27.03.2020

 

Здравствуйте.

Это проблема Clever Internet Suite. Пока официального ответа от разработчиков компонента не получил



Выберите библиотеку WIN (в окне ctrl+h) и таких проблем не будет.

 

С WIN такая же проблема.
Запустил по планировщику, и ушёл, одна итерация проекта выполняется обычно 15-25 минут, прихожу, уже 5+часов висит, что делать в таких случаях?

Без проксей, 50 поток, 10.000 url на итерацию
Версия от 12.03.2020

 

Приложите под хайдом файл проекта.

Также напишите, в конце парсинга, когда 1 поток висит, на сколько процентов загружен процессор?

 

Мне также интересно, каким образом, вы протестировали с библиотекой WIN, если парсинг идет 5 часов (судя по скриншоту), а рекомендацию (парсить с WIN) вы получили 1 час назад?

И версию программы желательно использовать актуальную.

 

Так я его ещё вчера запускал и вообще не думал, что будет какая либо ошибка.
У процессор минимальная загрузка

 

А рекомендацию про WIN, была ранее.
http://forum.sbfactory.ru/threads/vlijanie-processora-na-skorost-parsinga.8417/#post-49621

 

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 10000 постов.**

 

kagorec я прокси не использую, если вопрос мне адресован.
Вот перезапустил CD, включил планировщик и снова тоже самое...
Проект тот же.
Что же делать?

 

Напишите в Whatsapp

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

Скину версию с отладкой, запустите у себя.

 

Под WIN в моем конкретном случае не парсит.

Решение для CIS не предвитится?

 

Не от меня зависят доработки по CIS.

В чем именно проблема? Почему не парсит? Можно как-то прояснить.

 

Под WIN в коде выдает, что заблочен. Видимо, защита на сайте

 

Напишите в Ватсап (контакт выше).

 

Разработчики компонента скинули версию для создания логов ошибки.

Прошу написать мне.

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

 

Проблема решена.