Недостаточно памяти

Здравствуйте. Запускаю сканер сайта на сбор ссылок товаров (использую прокси). Оставил комп на ночь. Утром появилось несколько десяткой всплывающих окон о нехватке памяти. В нижней строке было 28 000 ссылок. При попытке сохранить эти ссылки выдавалось сообщение о нехватке памяти (8 озу стоит на компе. Занято было не более половины). В итоге никак не смог сохранить спаршеные ссылки.
Как решить эту проблему? Как сделать автоматический бекап спаршенный ссылок? Можно ли возобновлять парсинг ссылок с учетом уже спаршенных?

 

Здравствуйте.

ОЗУ к этому не имеет никакого отношения.

В Windows каждой программе выделяется определенное количество памяти.

Скорее всего, память заполнил список очереди ссылок в памяти.

Сколько ссылок в списке очереди в памяти у вас при возникновении ошибок?

 

количество ссылок в очереди к сожалению не посмотрел, но думаю не меньше сотни тысяч.

 

Поставьте на парсинг и посмотрите. При таком потреблении памяти, думаю, там должно быть куда более, чем миллион ссылок. Если так, то нужно донастроить фильтры очереди ссылок.

 

спасибо!