Out of Memory / Использование RAM

Добрый день!

Есть ресурс, у него большое количество страниц (более 7 млн.), при сканировании сайта начала загружаться память и при проходе 1 млн. 300 страниц было использовано более 900 мб. памяти, так же появилось сообщение warning Out of Memory. Расскажите, как происходит использование памяти, как можно проанализировать все ссылки с сайта на предмет необходимых ?

 

Здравствуйте.

В системе Windows каждому процессу выделяется определенное количество памяти (вне зависимости от оперативной памяти ПК). При превышении этого лимита появлются сообщения типа Out of Memory.

Как вариант - парсить сайт частями.

С уважением к вам, Сергей.

 

Сергей, добрый вечер.

Идея с делением поняна. Разбить сайт на 7-8 частей, придумав дополнительно фильтрацию для каждого блока.

Какие еще могут быть варианты, чтобы можно было проанализировать за один заход?

 

Думаю, никаких. Столько ссылок просто "не поместятся" в выделенной для программы памяти.

 

Есть какие то изменения? Будет ли 64 битный CD?
Ссылки недоступны для гостей - поможет ли такое?
Проблема проявляется в среднем на вторые сутки парсинга =( напрягает слегка.
Приходится стопать все и заного запускать.

 

Такое уже сделано давно.

Для создания 64 бит exe нужен новый компиллятор, на котором, увы, не работают необходимые компоненты.

 

Есть 64 битный DC=)) ? А то я не понял ответ.
Даже не могу вспомнить где я его скачивал дайте пожалуйста ссылку на скачку 64 битного

 

Ответил выше.

 

Так решение есть? Если нету работает ли это - Ссылки недоступны для гостей ???

 

Я же писал.

Почему с первого раза не понимаете.

 

Я не прогер можете конретно отписать как избавиться от данной ошибки?

 

Никак, каждой программе в среде Windows выделяется ограниченное количество памяти.

 

тоесть в вашей програмее уже реализавно выделение 4гигов памяти и она 32 битная?

 

Да. Уже третий раз говорю.

 

Почему сразу нормально не ответить? У меня мозг не програмиста и очевидные для вас вещи мне не понятны =)
Блин а как быть? Есть может какая то команда которая сама раз в 12 например часов перезапускает прогу и далее работает ????

 

Я конкретно ответил на ваш вопрос. Нужно просто осознавать, что читаете.

Причем тут перезапуск программы. Если вы собираете ссылки сканером сайтов, там накапливаются ссылки и занимают память.