Железо для парсинга на максималке (50 потоков)

Всем привет!

Задача: имеем сайт с которого нужно парсить информацию. 1 страница около 50кб
За 1 заход, я прохожу по 100к ссылок, по времени занимает около 100-110 минут
Имею 3 машины на i7-2шт (озу 16) и на 2 целероне (озу 4). так вот старый селерон работает быстрее всех, хотя по всем характеристикам он слабее i7.

Сейчас требуется обрабатывать около 1-2 млн линков в день.
Желательно чтобы это все выполняла машина на 50 потоках, тк сейчас если ставлю более 15, то работа снижается в разы, нежели если поставить 10 потоков.

Хотелось бы обрабатывать по 100к линков менее чем за час, бюджет на все 100к. рублей.
Что из железа посоветуете, чтобы быстрее работать с данными х-ками..
ЗЫ. бюджет можно и по минималке, главное скорость за малые деньги ))

 

Здравствуйте.

В приоритете тактовая частота процессора.

ОЗУ не влияет (главное, более 4 гБ).

 

какой конфиг можете посоветовать под 50 потоков?

 

и я так понимаю количество ядер не влияет на работу Content Downloader, он работает с одним ядром.

Но вот WBAPP использует все ядра процессора, если я не ошибаюсь.

+SSD диск ускоряет работу реально (я тестировал) но не совсем понятно, из-за того что пишешь данные на этот диск или в целом программа на нем работает быстрее вместе со всей системой.

 

вот видимо нет, тк у меня ssd на 10 потоках работает медленее селерона на hdd при равных показателях