Out of Memory / Использование RAM

Тема в разделе "Парсинг во вкладке "Ссылки"", создана пользователем beach_master, 6 июл 2015.

Статус темы:
Закрыта.
  1. beach_master

    beach_master New Member Пользователи

    Регистрация:
    6 июл 2015
    Сообщения:
    2
    Добрый день!

    Есть ресурс, у него большое количество страниц (более 7 млн.), при сканировании сайта начала загружаться память и при проходе 1 млн. 300 страниц было использовано более 900 мб. памяти, так же появилось сообщение warning Out of Memory. Расскажите, как происходит использование памяти, как можно проанализировать все ссылки с сайта на предмет необходимых ?
     
  2. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    9.624
    Город:
    Сочи
    Здравствуйте.

    В системе Windows каждому процессу выделяется определенное количество памяти (вне зависимости от оперативной памяти ПК). При превышении этого лимита появлются сообщения типа Out of Memory.

    Как вариант - парсить сайт частями.

    С уважением к вам, Сергей.
     
  3. beach_master

    beach_master New Member Пользователи

    Регистрация:
    6 июл 2015
    Сообщения:
    2
    Сергей, добрый вечер.

    Идея с делением поняна. Разбить сайт на 7-8 частей, придумав дополнительно фильтрацию для каждого блока.

    Какие еще могут быть варианты, чтобы можно было проанализировать за один заход?
     
  4. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    9.624
    Город:
    Сочи
    Думаю, никаких. Столько ссылок просто "не поместятся" в выделенной для программы памяти.
     
  5. sapsan72

    sapsan72 New Member Пользователи

    Регистрация:
    7 апр 2018
    Сообщения:
    17
    Есть какие то изменения? Будет ли 64 битный CD?
    Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме! - поможет ли такое?
    Проблема проявляется в среднем на вторые сутки парсинга =( напрягает слегка.
    Приходится стопать все и заного запускать.
     
  6. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    9.624
    Город:
    Сочи
    Такое уже сделано давно.

    Для создания 64 бит exe нужен новый компиллятор, на котором, увы, не работают необходимые компоненты.
     
  7. sapsan72

    sapsan72 New Member Пользователи

    Регистрация:
    7 апр 2018
    Сообщения:
    17
    Есть 64 битный DC=)) ? А то я не понял ответ.
    Даже не могу вспомнить где я его скачивал дайте пожалуйста ссылку на скачку 64 битного
     
  8. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    9.624
    Город:
    Сочи
    Ответил выше.
     
  9. sapsan72

    sapsan72 New Member Пользователи

    Регистрация:
    7 апр 2018
    Сообщения:
    17
  10. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    9.624
    Город:
    Сочи
    Я же писал.

    Почему с первого раза не понимаете.
     
  11. sapsan72

    sapsan72 New Member Пользователи

    Регистрация:
    7 апр 2018
    Сообщения:
    17
    Я не прогер можете конретно отписать как избавиться от данной ошибки?
     
  12. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    9.624
    Город:
    Сочи
    Никак, каждой программе в среде Windows выделяется ограниченное количество памяти.
     
  13. sapsan72

    sapsan72 New Member Пользователи

    Регистрация:
    7 апр 2018
    Сообщения:
    17
    тоесть в вашей програмее уже реализавно выделение 4гигов памяти и она 32 битная?
     
  14. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    9.624
    Город:
    Сочи
    Да. Уже третий раз говорю.
     
  15. sapsan72

    sapsan72 New Member Пользователи

    Регистрация:
    7 апр 2018
    Сообщения:
    17
    Почему сразу нормально не ответить? У меня мозг не програмиста и очевидные для вас вещи мне не понятны =)
    Блин а как быть? Есть может какая то команда которая сама раз в 12 например часов перезапускает прогу и далее работает ????
     
  16. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    9.624
    Город:
    Сочи
    Я конкретно ответил на ваш вопрос. Нужно просто осознавать, что читаете.

    Причем тут перезапуск программы. Если вы собираете ссылки сканером сайтов, там накапливаются ссылки и занимают память.
     
Статус темы:
Закрыта.

Поделиться этой страницей