OutOfMemory при сканирование сайта

Здравствуйте!

Скажите, пожалуйста, можно ли как-то избавиться от OutOfMemory при сканирование сайта?

В компьютере 16 Гб оперативной памяти, но OutOfMemory появляется при использовании 1000-1200 Мб ОП.

Не спорю, донор с которого собираю ссылки не маленький, в нем около 50 миллионов ссылок, но этот OutOfMemory возникает в самый неподходящий момент, даже при использовании бэкапа.

Если избавиться нельзя, то можете есть решение как собрать такое кол-ство ссылок?

 

Здравствуйте.
Только парсить сайт частями. Увы, в Windows для каждой программы выделяется всего около 1,5 ГБ памяти и от этого никуда не деться...

 

Насчет парса частями я так и предполагал, но как быть со сканером сайтов? Разве можно собирать ссылки частями? А как же быть со списком очереди? Ведь проблема именно в нем, так как найденные ссылки я периодически очищаю, копирую в сторонний файл, а список очереди все время пополняется при 2,5-3 миллионов ссылок в этом списке вылетает OutOfMemory.

 

В доноре около 50 милл. нужных ссылок. И потому список-очереди все время пополняются. Список найденных ссылок я периодически подчищаю, сохраняя их.

 

Как быть, если я хочу бегать быстрее спортбайка - никак
Как быть, если я хочу запихнуть много гигабайт данных в полуторагигабайтовую квоту - никак
Просто нужно искать способ, как собрать эти 50 миллионов ссылок частями. Если хотите, чтобы список очереди не пополнялся - отметьте галочку "не пополнять очередь" в сканере сайтов (но тогда и парсинг не пойдет особо).
И на будущее - ничего нового вы тут не предложите, ничего нового не придумаете... Тема изжевана уже на сто раз!

 

Спасибо за то что успокоили что нет возможности собрать все ссылки, а то мучили сомнения что я делаю что-то не так.

 

Если бы у вас был ГОТОВЫЙ список ссылок откуда парсить конечные ссылки, то это можно было бы устроить частичной его загрузкой, парсингом, следующей загрузкой...
Но так как сканер сайтов должен исключать дубли ссылок (не ходить по тем ссылкам, которые он уже спарсил) и, при этом, добавлять в очередь новые, в памяти программы хоть как должен быть список "отработанных" ссылок и от этого никуда не деться...

 

Может быть у каждой страницы есть свой числовой ID?) типа page=55231432 либо article=343243 тогда проще просто сгенерировать список таких ссылок!

 

Господа, спасибо что откликнулись, но я решил отбросить идею спрасить этот донор

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

Слишком он огромный.

 

Пожалуйста, обращайтесь. Постараемся помочь.