Влияние процессора на скорость парсинга

Здравствуйте, друзья!
Это и вопросом-то сложно назвать.
Есть 2 стационарных ПК:
1. Core i5-3550, 8Гб ОЗУ, Win7 (на SSD)
2. Celeron 2957U, 4Гб ОЗУ, Win10 (на SSD)

Оба подключены к роутеру кабелями. Антивирусов нет.
Есть объёмный проект CD, с прокси.
Так вот, на первом ПК он отрабатывает за 50 мин, а на втором - за 2 часа. При чем, загрузка ядра процессора на втором при парсинге не превышает 18% (скачкообразно).
Проверял пару раз. Одинаково.
Это нормально?

И вот только сейчас подумал, может ли влиять так сильно на скорость встроенный антивирусный защитник на Win10?

 

Здравствуйте.

Кеш и тактовая частота данных процессоров отличается более, чем в два раза. Отсюда и разница в производительности.

 

Если есть желание, можете под хайдом приложить "медленный" проект для выявления и оптимизации используемых в нем функций (что возможно, но не обещаю).

 

Проект прилагать нет смысла - он максимально элементарен. Сбор ссылок по циклу (во вкладке парсинга контента) + условие "обязательная граница". И все.
Это "стационарный" микро-ПК, с мобильным процом. (Ссылки недоступны для гостей). Вероятность перегрева конечно есть, но только если там плохо сделан теплоотвод, т.к. на ощупь еле теплый.
Хотя проц даже не поднимается до 20% загрузки.

 

В общем, проведу некоторые эксперименты (но уже наверное с другой машинкой - похожей, но помощнее) и отпишусь по результату. Для меня это интересная тема

 

Однако, озадачен...
Эпопея продолжается, но разгадки не видно.
Опускаю из описания пару машин, заведомо слабее по железу.
В тесте всё тот же
1. Core i5-3550 (3,3 ггц), 8Гб ОЗУ, Win7 (на SSD)
и практически идентичный полноразмерный системник
2. Core i5-4570 (3,2 ггц), 8Гб ОЗУ, Win7 (на SSD)
Версия windows одинаковая, со стандартными обновлениями.
Скорость интернета - уже 50 Мбит.
Так вот, при такой скорости инета, на Первом ПК тот же тестовый проект выполняется 45 минут (на скорости инета 10 Мбит было 50 минут), а на ВТОРОМ ПК - около 1:30 (до конца не ждал, когда стала очевидна разница).

У меня, честно говоря, на этом этапе закончились разумные мысли. Из различий пк - осталось обновить системный IE на втором пк, так он в проекте парсинга не задействован, не должен никак влиять.
Не знаю, может быть различные версии Microsoft net framework...
Вот теперь прикреплю проект, может по нему будет видно, что так может влиять на скорость, какие системные параметры задействованы.
Нужны любые ваши предположения.

 

У меня есть горечь и разочарование в компоненте CleverInternet Suite.

Например, при использовании прокси, компонент, при загрузке URL, может уйти в вечный цикл, заняв одно из ядер процессора полностью.

Возможно это и замедляет парсинг проекта на одном из ваших ПК.

Если поможете в тестировании, будет хорошо.

Проследите за загрузкой ядер процессора при парсинге на том ПК, где у вас медленно идет парсинг.

Если это подтвердится (загрузка ядер), то проследите наличие этого эффекта на другом ПК (где парсинг идет быстро).

Если на втором ПК (где парсинг идет быстро), потоки "виснуть" не будут, хорошо бы было разобраться в причинах этого явления путем сравнения двух систем (где парсится медленно и где быстро).

Разработчики компонента на жалобу о проблеме уже не отвечают целый месяц.

Причем при использовании написанных нами библиотек (на основе WinInet) таких проблем нет. Но WinInet не поддерживает SOCKS5 прокси (хотя это и не часто требуется).

 

Если имеете ввиду 100%-ю загрузку одного ядра, то нет, такого не наблюдается. Общая загрузка всего процессора на core i5-4570 составляет 1-8% (это включая все процессы) и эта нагрузка равномерно распределена между всеми 4-я ядрами. По этому вопросу могу проследить более детально, на каком пк, как сильно задействован проц.
Проверил явные рограммные различия:
- На медленном стоит Microsoft net framework 4.8, на быстром Microsoft net framework 4.6.2
- Набор компонентов Microsoft Visual C++ поставил одинкаовый.

Хочу попробовать перенести полностью систему с быстрого пк на медленный, хотя конечно не факт, что получится. Всё-таки компоненты все разные.

 

Сделайте образ системы, с помощью загрузочного Acronis True Image, и восстановите на другом пк.

 

Именно это и собираюсь сделать

 

Лучше бы выбрали библиотеку Win (ctrl+h) без дополнительных переносов системы.

 

это могу проверить вот прям щЯс
Отпишусь по результату.

Запустил. Если верить прогнозу "осталось", то результат будет ошеломительный!

Проверил на "медленном" ПК Core i5-4570.
Библиотека Win дала результат 36 минут! Т.е. в 3,3 раза быстрее CIS-библиотеки.
Загрузка проца при этом составила от 6 до 21% (в среднем около 15%).
Позже проверю такие же настройки на "быстром" ПК.

 

И теперь НУ ОЧЕНЬ интересно протестить относительно слабые компы (Core i7-4500U и Celeron 2957U)

И просьба админам переименовать тему, чтобы суть была более ясна.

 

Итак, промежуточные результаты тестов.
Имеем проект, который стандартно выполнялся 50 минут. Есть 3 ПК:
1. Core i5-3550 (3,3 ггц), 8Гб ОЗУ, Win7 (на SSD)
2. Core i5-4570 (3,2 ггц), 8Гб ОЗУ, Win7 (на SSD)
3. Core i7-4650U (1,7 ггц), 8Гб ОЗУ, Win7 (на SSD) - это безвентиляторный микро-пк на ноутбучном процессоре (просто-таки влюбился в эту игрушку).

Сначала на библиотеке CIS:
1. 50 минут
2. 1:зо - 2:оо часа
3. 2:оо часа

Тут причина такой разницы на одинаковых машинах 1 и 2 так и не выяснилась.

После совета Сергея изменил используемую в CD библиотеку с CIS на Win.
1. 41-45 минут. Средняя загрузка процессора 12-17%
2. 36-45 минут. Средняя загрузка процессора 12-17%
3. 35 минут (пока проверил один раз). Средняя загрузка процессора 18-22%

Есть ещё безвентиляторный микро-пк Celeron 2957U, 4Гб ОЗУ, Win10 (на SSD). Хочу и на нём протестить.
Наглядное сравнение процессоров: Ссылки недоступны для гостей

 

Сколько потоков парсинга ?
Прокси используются ?
Как ПК в интернет выходят:
- ethernet
- wifi

 

50 потоков
прокси используются
подключение во всех случаях - витая пара (ethernet)