Вопрос по поводу ресурсов пк под парсинг

Тема в разделе "Решение проблем с использованием программы", создана пользователем romanvl, 25 фев 2014.

  1. romanvl

    romanvl New Member Пользователи

    Регистрация:
    21 фев 2014
    Сообщения:
    18
    Суть такая, пк q9400 памяти 8гиг, win7 64

    При запуске парсинга с включенным DOM для контента в 5 потоков памяти занято 6 гиг (обычнов пределах 2-3) нагрузка на проц процентов 60...

    Внимание, знатоки)) Вопрос.

    Есть ли смысл брать лиц на 10 потоков или на большее количество потоков? или ресурсов сьест мама не горюй и можно думать над новым компом?

    Сколько есть парсер при вышеописанных настройках? Без Dom памяти значительно меньше уходит? (в проекте нуно обработать скрипты, поэтому с ДОМ)
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.
    DOM - IE, у вас одновременно запускается 10 браузеров IE) Вот и посчитайте, сколько ресурсов надо, это нормально. С DOM нет смысла парсить более чем в 4 потока.
     
  3. romanvl

    romanvl New Member Пользователи

    Регистрация:
    21 фев 2014
    Сообщения:
    18
    понял.

    админ молодец))

    спс)
     
  4. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Имеет смысл брать версию не Start, кроме 5 потоков, вы еще не сможете пользоваться динамическими границами (ctrl+e нажмите)
    Не такая уж большая единоразовая плата за лицензию, если брать то нормальную 50 потокувую (ИМХО).
     
  5. romanvl

    romanvl New Member Пользователи

    Регистрация:
    21 фев 2014
    Сообщения:
    18
    На самом деле я планирую взять норм версию)) софт доказал универсальность и поддержка на форуме просто огонь)) главное чтобы хватило ресурсов пк под задачи где нужно обрабатывать скрипты через DOM

    я пока не разобрался с динамическими границами, но это все тоже будет.
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Ссылки недоступны для гостей
     

Поделиться этой страницей