Скорость парсинга совсем упала 0-0,3 в среднем

Тема в разделе "Решение проблем с использованием программы", создана пользователем Jagger, 19 дек 2013.

  1. Jagger

    Jagger New Member Пользователи

    Регистрация:
    29 ноя 2013
    Сообщения:
    19
    Скорость парсинга сегодня упала совсем мало того что ошибки постоянно вылазять (Thread creation error и Out of memory) из-за которых уже раз 15 приходиться начинать все сначала, так теперь и скорость упала

    Вобщем проблема номер 1. Постоянно вылазят ошибки (Thread creation error и Out of memory) пробывал искать на форуме и нашел: т.е. вот по этой ссылке Ссылки недоступны для гостей я пробывал ничего не выходит, пришлось разбить файлы по 20К ссылок, все равно вылетало на 4К документах, что делать я незнаю...

    Система: Windows XP Professional, версия 2002, Service Pack 3
    Железо: Genuine Intel(R) CPU
    2160 @ 1.80GHz
    1.79 ГГц, 2.00 ГБ ОЗУ

    Проблема номер 2. парсинг стал вообще медленный 0-0.3 (почти всегда 0) в среднем как через AdvOR так и через прокси, тут вообще непонимаю что делать ставлю 3 потока с задержкой 1000 мс только вчера парсило 0.6-0.9 документов в сек. а теперь почему-то 0-0.3, на увеличение потоков вообще никак не реагирует... а в купе с 1 проблемой так еще и приходиться заново все начинать... подскажите что делать пожалуйста
    Ах да, версия проги 8.52 The Ocean, лицензия: стандарт
     
    Последнее редактирование: 19 дек 2013
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.432
    Адрес:
    Latvia
    Под хайдом покажите адрес что парсите. Попрбуем на деле проверить с нуля настройку если.
     
  3. Jagger

    Jagger New Member Пользователи

    Регистрация:
    29 ноя 2013
    Сообщения:
    19
    Скинул в личку
     
  4. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.432
    Адрес:
    Latvia
    Причины банальные могут быть:
    1. Ваш рутер надо перезапустить, на своем опыте сталкивался псле парсинга более суток в 50 потков все тормозило пока не рестартнул роутер, да и компьютер тоже если работает не отключаясь более суток парсинга.
    2. Копьютер заражен вырусами и т.д. - поможет использование даже бесплатного антивирусника.
    3. Фаервол если есть возможно блокирует трафик.

    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Система: Windows XP Professional, версия 2002, Service Pack 3 - репак или оригинал?
     
  6. Jagger

    Jagger New Member Пользователи

    Регистрация:
    29 ноя 2013
    Сообщения:
    19
    Даже незнаю, скорее всего репак
     
  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Попробуйте перенести программу на другой ПК
     
  8. Jagger

    Jagger New Member Пользователи

    Регистрация:
    29 ноя 2013
    Сообщения:
    19
    Вот сейчас со скоростью еще как то более менее, но опять ошибка Thread creation error, ставил 10 потоков с задержкой 1000, уже всего лишь 10К страниц парсил и опять ошибка спарсил 3200, и опять все сначала начинать... хорошо бы была такая функция хотябы чтобы страницы (урлы) те что осталось отпарсить он в файлик сохранял, а так теперь опять сначала... второго ПК нету)
     
    Последнее редактирование: 19 дек 2013
  9. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.432
    Адрес:
    Latvia
    подключите текстовой файл (в него записываются удачно спарсенные) чтоб потом парсить с того момента с которого выключили в прошлый раз
    [​IMG]
     
  10. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Скиньте ваш проект мне на почту (чтобы я нажал старт, чтобы там ссылки уже были), у себя запущу, отпишусь...
    Спасибо!
     

Поделиться этой страницей