Со временем зависают поттоки сканнера сайтов

привет, столкнулся с такой проблемой:

1) гружу в сканнер по 1кк ссылок, в настройках стоит не пополнять очередь то есть паршу только морды.

2) выставляю 100 потоков без пауз. в CTRL + R, добавлены 3 сокс прокси которые я сам поднимал и их качество я отношу к разряду очень хорошие. мне приходят алерты если что то падает, за всю историю приходило только 1-2 раза и то это было связано с техническими работами хостера. так же я регулярно мониторю загрузку прокси и самих серверов - открыта в терминале на соседнем мониторе. для примера прилагаю скрин с панельки хостера



3) начинаю парсинг. сначала всё идёт ок, видно как используются все прокси как в вышеизложенной статистике, так и если нажать кнопку лог сканнера сайтов скорость идёт ~14 документов в секунду

далее я благополучно отправляюсь по своим делам. возвращаюсь где то через часов 6-8 и проверяю. спечалью обнаруживаю что скорость падает до ~4 документов в секунду. после чего я нажимаю пкнопку приостановить и жду 60 секунд. по прошествию этого времени видно что потоки как бы замораживаются и видимо из за этого и падает скорость




в настройках CTRL + H у меня выставлены такие значения







во вкладке прокси вот так




дополнительная информация:
ос win 10 с сайта microsoft
антивирусов нет, defender отключен
на роутере стоит кастомная прошивка openwrt - никаких проблем не обнаружено
версия программы 11.1.1711815 ULTIMATE



сделайте пожалуйста возможным, чтобы эти зависшие потоки автоматически удалялись. судя по всему по таймауту 10000 мс они не прибиваются. разумеется чтобы прибитые потоки в дальнейшем могли быть использованы при парсинге, чтобы не терять скорость из за этих зависших потоков.

 

Здравствуйте.

Программам в Windows выделяется определенный объем оперативной памяти.

Для 32 bit примерно 1,4 ГБ (с возможностью расширения до ~3, уже расширено).

Судя по всему, проблема в том, что переполняется память и поток самоуничтожается. Такое явление бывает как раз при подобных ситуациях (когда парсятся разные домены). В среднем страницы небольшие, но попадаются огромные, скажем, по 100+ мегабайт. Вот из-за таких память и переполняется.

Рекомендую снизить количество потоков, скажем, до 50 (так как в Windows больше не рекомендуется использовать, тратятся ресурсы на переключение между ними).

Также попробуйте установить такую опцию.



Если не поможет, можно попробовать парсить через WBAppCEF с отключенными Javascript. Скорость почти такая же будет.

 

спасибо, сейчас попробуй, отпишусь по результатам думаю через пару дней

 

Пожалуйста.

 

к сожалению не помогло




к тому же при 50 потоках скорость сразу начинается с 8 документов в секунду, когда на 100 она примерна равна 12. у меня очень много ссылок, поэтому скорость влияет большую роль.

подскажите пожалуйста как это сделать через WBAppCEF или что можно почитать, чтобы реализовать то что вы написали выше. чтобы парсил с отключенными Javascript и желательно чтобы не грузил картинки

 

все прокси поднимал я сам и они отличного качества. об этом написал выше. каждая прокся на отдельной впске, на каждой впс нагрузка минимальная, контролирую лично.
без прокси не обойтись, т.к. банят айпи адреса постоянно.