Давайте УВЕЛИЧИМ количество потоков!!!

Пообщавшись с другими обладателями программы, пришел к выводу, что разработчикам необходимо сделать в программе возможность самому устанавливать нужное количество потоков.

Сейчас максимум в программе можно поставить 10 потоков. Высказываем свои соображения и обязательно (!) голосуем.



.......

 

Полностью поддерживаю. Давно назрела такая необходимость.

Например скорость сбора ссылок с сайтов на сайте в 200к страниц очень удручает.

10 потоков - слабое место при моей скорости интернета (полдня 20 мбит, полдня 80 мбит).

 

согласен, потоков нужно под сотню, при работе через пачку проксей будет очень удобно (часть паблик проксей обычно мёртвая)

 

Поддерживаю!

 

Хорошая идея. Только лучше не сто потоков сделать, а сколько хочеш.

 

Если много потоков, то могут на сайте забанить. Во вторых, когда у меня стояло 10 потоков, то на некоторых сайтах не докачивались картинки. Пришлось вобще ставить 2-3.

 

jozess, никто тебе не запрещает работать и в один поток. Дай людям возможность самим определять и ставить нужное кол-во потоков.

 

+1 давно уже пора было сделать

 

только я вот смотрю администрация вообще чтоли никак не реагирует?

 

+1 Очень нужно

 

10 потоков вполне достаточно. Это оптимальное количество по скорости загрузки документов в секунду и по тому, какая возникает нагрузка на сервер, когда вы его парсите.

Не надо думать, что парсинг в 10 и в 100 потоков будет сильно отличаться по скорости. Основной показатель скорости загрузки документов в секунду зависит от быстродействия сервера на котором расположен сайт... Единственный случай, где увеличение количества потоков может помочь значительно увеличить скорость парсинга - парсинг с использованием списка медленных бесплатных прокси...

Если людям развязать руки и дать возможность задавать 1000 потоков, то они будут всегда 1000 ставить.
А теперь представьте, если сайт парсят хотя бы 3 человека в 1000 потоков. В итоге получим перегрузку сервера и скорость его работы падает, а сервер может может и вообще рухнуть от большой нагрузки. Парсится сайт будет еще медленнее...
Программу активно используют множество человек. Если увеличить количество потоков, то сайтовладельцы начнут напрягаться и будут пытаться ставить всяческие защиты от парсинга на свои сайты. Оно вам надо?...