Out of Memory в Сканер Сайтов

Тема в разделе "Решение проблем с использованием программы", создана пользователем sepro, 8 авг 2014.

Статус темы:
Закрыта.
  1. sepro

    sepro New Member Пользователи

    Регистрация:
    8 авг 2014
    Сообщения:
    5
    Добрый день!

    сканирую большой сайт при помощи "Сканер Сайтов"

    процесс не может закончиться, в заголовке окна пишет сообщение типа:
    Out of Memory 1700Mb.
    Программа после этого умирает.
    Невозможно ни скопировать ссылки, ни закрыть программу.

    У меня на компьютере памяти 32 Гб.

    Похоже программа 32-х битная.

    Можно ли сделать чтобы сканер сайтов мог использовать более 2-х Гб ОЗУ,
    и чтобы можно было сканировать большие сайты?

    Еще было бы неплохо делать AutoSave ссылок.

    Заранее спасибо.
     
    Последнее редактирование: 8 авг 2014
  2. СТЕПАН

    СТЕПАН New Member Супер Модератор

    Регистрация:
    10 мар 2013
    Сообщения:
    51
    Адрес:
    Казахстан
    верно

    нет так как приложения 32 битные умирают после 1-1,5 гигов оператива

    про это я просил разработчика, но автоматического сохранения не и не предвидится только во время работы вы сами можете нажать сохранить вручную и постоянно следить за тем чтобы не было надписи опасность вылете и не потребляло больше 750 метров памяти
     
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Думаю, лучше разделить парсинг на части и парсить частями.

    Простите, "автоматически делать бекап..." правее кнопки "сделать бекап..." в сканере сайтов не работает разве?
     
  4. sepro

    sepro New Member Пользователи

    Регистрация:
    8 авг 2014
    Сообщения:
    5
    очень неудобно делить на части.
    Да и не получится разделить парсинг сайта на части.

    Как-то не логично получается у меня 32 ГБ ОЗУ, а воспользоваться я ими не могу.

    Есть вариант: сделать опцию "не грузить список URL в окне, а писать их в файл".
    Тогда потребление памяти уменьшится.

    теперь увидел, там явно не видно эту опцию
     
    Последнее редактирование: 9 авг 2014
  5. sepro

    sepro New Member Пользователи

    Регистрация:
    8 авг 2014
    Сообщения:
    5
    Похоже все таки в самой программе проблемы с работой с памятью, возможно не уничтожаются некоторые объекты после выделения памяти.

    Это видно из того, что сам файл бакапа ссылок занимает всего 10 Мб, а парсер съел памяти 1700 Мб.
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Единственное, что можно отключить в сканере без потери необходимых функций - список выдачи ссылок! Если отключить список выдачи ссылок, то это освободит всего около 24% памяти. Я счел данный прирост в памяти не таким уж критичным и отложил это "на попозже".

    Нет, проблем там нет и все лишнее уничтожается!!! Размер текстового файла ни о чем не говорит. Его размер никак не связан с размером тех же самых данных в памяти программы. Если бы данные в памяти были бы в одной строковой переменной, то, разумеется, размеры были БЫ сопоставимы. Но вы же не знаете в каком виде эти данные находятся в памяти.

    Спасибо! Но если я захочу спросить вашего совета, я вам непременно напишу!
     
Статус темы:
Закрыта.

Поделиться этой страницей