CD заполняет всю память и останавливается

Тема в разделе "Разное", создана пользователем Atlas, 30 июл 2018.

  1. Atlas

    Atlas New Member Пользователи

    Регистрация:
    10 мар 2018
    Сообщения:
    37
    Добрый день.
    Взял ВПС 3 ядра, 3 озу. Поставил КД, парсинг в 10 потоков, 10к ссылок. В итоге на 5к КД перестает парсить, т.к оперативка заполняется полностью. Причем КД не останавливается, просто как бы перестает парсить, подвисает, и я не могу экспортировать лог или сохранить проект. Только завершить задачу через диспетчер.
    Можно ли как-то решить эту проблему, чтобы не надо было каждый раз вручную перезагружать софт?
     
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    3.127
    Мало подробностей, можно только предполагать что настроен парсинг через wbapp и сайт увешан яваскриптами...
    Уточните пожалуйста какой сайт, как настроен проект, какая версия программы, какая версия internet explorer?
     
  3. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    211
    Как вариант, разделить общий файл с ссылками на более мелкие, по 1к ссылок в файле.
    для каждого файла продублировать файл проекта, со своим набором ссылок.
    добавить в планировщик для последовательного парсинга
     
    Atlas нравится это.
  4. Atlas

    Atlas New Member Пользователи

    Регистрация:
    10 мар 2018
    Сообщения:
    37
    Супер, спасибо! Только логи этих проектов я никак не смогу посмотреть?
     
  5. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    211
    Смотрите настройки - Панель меню - Сервис - Лог парсинга
     
  6. Atlas

    Atlas New Member Пользователи

    Регистрация:
    10 мар 2018
    Сообщения:
    37
    Сделал по этому совету, когда первый файл закончил парситься, память была загружена на 1900 мб.
    КД перешел ко второму файлу, но память не обнулилась и следовательно на парсинге второго файла КД и подвиснет, т.к память будет только заполняться...
    Приходится руками перезапускать софт, чтобы произошел сброс, а хотелось бы как-то автоматизировать это дело.
     
  7. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    211
    Как вариант Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме! (не реклама)
    Один из вариантов использования (без использования встроенного планировщика в CD):
    - настроить мониторинг размера файла в который ведется парсинг
    - при условии, что размер файл не меняется n- сек/мин смотря, как настроить - понимаем что парсинг завершился
    - производим перезагрузку CD
    - выполняем запуск следующего проекта
     
    Atlas нравится это.
  8. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    9.641
    Город:
    Сочи
    Предоставьте файл проекта.
     

Поделиться этой страницей