Обработка и импорт контента

Тема в разделе "Решение проблем с использованием программы", создана пользователем soc1um, 16 апр 2013.

  1. soc1um

    soc1um New Member Пользователи

    Регистрация:
    16 апр 2013
    Сообщения:
    2
    Спарсил почти 13000 страниц и при обработке категорий, примерно 1000 страниц программа обрабатала очень быстро, но чем дальше тем медленнее программа обробатывает. На 7000 страницах обработка 1% занимает около 10 минут. Ноут практически взлетает от работы куллера. Загрузка ЦП 100%.
    Можно как то приостановить и понять какие файлы обработаны, а какие нет и позже добавить не обработанные? Или какой-нибудь программой подчистить процессы? Так понимаю, что прога держит все это в памяти и тем самым затормаживает себя и нагинает систему.
     
  2. nikolas1612

    nikolas1612 Member Пользователи

    Регистрация:
    27 ноя 2011
    Сообщения:
    439
    1. приостановить парсинг
    2. если парсил в 1 файл - выставить опцию "дозаписывать"
    3. сохранить проект
    4. запустить проект по новой

    возможно, поможет
     

Поделиться этой страницей