Какие макросы/опции слишком перегружают процессор

Тема в разделе "Разное", создана пользователем TeslaCo, 21 окт 2015.

  1. TeslaCo

    TeslaCo Member Пользователи

    Регистрация:
    4 мар 2014
    Сообщения:
    211
    Здравствуйте, уже не однократно замечал что некоторые проекты очень перегружают процессор, помогите найти причину.
    парсинг без WBApp, перегрузка идет с первых минут парсинга и даже несколько сотен ссылок, то есть дело не в кол-ве ссылок или размере сохраняемых строк, а в каких то макросах.

    Может кому то помогу, очень перегружает процессор, поиск замена загружаемого кода, особенно если стоит много замен (10 и больше строк), это то что я смог вычислить.
     

    Вложения:

    • peregruz.cdp
      Размер файла:
      567,9 КБ
      Просмотров:
      3
    Последнее редактирование: 21 окт 2015
    TeslaCo, 21 окт 2015
    #1
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.433
    Адрес:
    Latvia
    У вас старенький компьютер что чуствуете нагрузки от такого мелочного нагруза при парсинге? (на своем компе не удавалось поднять нагрузку cpu больше 20% при парсинге миллиона страниц в 50 потоков через платные прокси)
    Поиск-Замена можно использовать в несколько тысяч строк замен (именно так работал при парсинге товаров собоставляя артикулы прайсовые к названиям товаров)
    В большинстве случаев проблема с источником или дохлыми проксями.
     
    kagorec, 21 окт 2015
    #2
  3. TeslaCo

    TeslaCo Member Пользователи

    Регистрация:
    4 мар 2014
    Сообщения:
    211
    запустите тот проект который я скинул, я же не просто так прикрепил, все остальные проекты нормально нагружают как вы написали, а этот перегружает, я бы не писал если бы это было что то обычное...
    проц i5 пока не старенький.
     
    Последнее редактирование: 21 окт 2015
    TeslaCo, 21 окт 2015
    #3
  4. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.433
    Адрес:
    Latvia
    Также и в броузере любом по ссылке страница ддолго открывается, а в проекте поставлено 10 потоков без паузы. :laugh:
     
    kagorec, 21 окт 2015
    #4
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Запустил ваш проект:

    Скорость парсинга: 2 документа в секунду
    Загрузка ЦП: 20% (одно ядро на 40% загружено)
    Скорость соединения: 500 kb/sec

    Ничего плохого не вижу в этой статистике.
     
    Root, 21 окт 2015
    #5
Similar Threads
  1. zilon

    Какие сайты стоит парсить, а какие нет ?

    zilon, 13 июл 2012, в разделе: Свободный форум
    Ответов:
    10
    Просмотров:
    5.006
    Aurum
    13 апр 2013
  2. andreev

    Какие параметры при парсинге mail.ru

    andreev, 15 мар 2013, в разделе: Парсинг конкретных сайтов по запросу (ПЛАТНО)
    Ответов:
    3
    Просмотров:
    1.650
    andreev
    15 мар 2013
  3. igor3310

    А какие заголовки и браузер при авторизации?

    igor3310, 28 авг 2013, в разделе: Функции и интерфейс программы
    Ответов:
    4
    Просмотров:
    1.530
    igor3310
    28 авг 2013
  4. palerm0

    Опции макроса DYNAMICVALUES

    palerm0, 24 сен 2014, в разделе: Макросы шаблона вывода
    Ответов:
    5
    Просмотров:
    1.363
    kagorec
    24 сен 2014
  5. Семен Семеныч

    Это уже ни в какие ворота не лезет

    Семен Семеныч, 7 мар 2015, в разделе: Решение проблем с использованием программы
    Ответов:
    12
    Просмотров:
    1.385
    Root
    29 сен 2015
Загрузка...

Поделиться этой страницей