Сколько прокси нужно для парсинга?

Я искал информацию на форуме и в справке, но не нашёл ответов на свои вопросы. Подскажите, пожалуйста, для парсинга интернет-магазина с 200-300 тысячами товаров, сколько нужно прокси? Я понимаю общий процесс, но не хватает нескольких деталей. Насколько я понимаю, прокси чередуются во время обработки ссылок, но всё равно упоминается, что их должно быть много, особенно если страниц много.

По моей логике, если прокси чередуются, то должно хватить 100 прокси, так как между запросами от одного прокси будет достаточно времени, чтобы избежать блокировок. Однако это нигде не описано. В справке указано, что если блокировка происходит после каждой сотни запросов, то нужно рассчитать количество прокси, чтобы их хватило. В таком случае, для 200 000 страниц потребуется 2000 прокси. Так ли это? Или всё же чередование обеспечит их более длительную работу?

 

А прокси точно нужно? Может и без них все работает. Запустите и узнайте, забанят, перегрузите роутер и парсите снова с меньшим числом запросов. А если не идет возьмите пару мобильных прокси, у них частота смены ip от 2 до 5 минут.

 

на 10 потоках успел спарсить 100 страниц (режим по умолчанию), если уменьшить потоки и паузы или прокси "смены ip от 2 до 5 минут" , то сколько дней я буду парсить 200 или 300 тысяч товаров? Поэтому хочу понять, как работает парсер с прокси, если прокси чередуется после каждого запроса, то между запросами каждого прокси может быть до минуты, значит они и баниться ведь не должны, это так? Просто это немного разница с информацией из справки.

 

список чего, прокси? Но у меня другой вопрос был. Нужно много тысяч прокси или достаточно например сотни, т.к. они не все сразу запрашивают, а по очереди, соответственно с большой паузой при повторном запросе с одного и того же адреса?

Сколько нужно работающих прокси, чтобы спарсить 300 000 страниц, сколько потоков и какие паузы лучше поставить?

 

все от сайта который вы парсите зависит. Скиньте ссылку на 1 товар. Может вы озон парсить собираетесь.

 

а так каждый запрос идет через прокси, 100 товар на 5 прокси = 100/5=20.

 

прошу прощения, но вроде вопрос максимально простой (и разжованный), для человека, который хотя бы несколько раз использовал прокси)) Банятся прокси при чередовании или нет? Нужно их брать с рассчетом, что они будут одноразовые (т.е. очень много) или их не забанят т.к. большой временной промежуток при повторном запросе с одного и того же прокси, т.к. они чередуются и можно обойтись сотней прокси?

 

это вам кажется что вопрос простой, по какому алгоритму баниться доступ к сайту донору это вам надо к админам этого сайта. Образно, вы можете поставить временной промежуток хоть пол часа и все равно через 100 запросов получить блок.

 

в среднем, гипотетически, теоретически, как это в теории должно работать? Остальное я сам попробую додумать и применить, извините, но я уже не знаю, как еще спросить...

 

только практический, если говорите что ваш сайт парситься с прокси, возьмите на пробу немного прокси и парсите. А там уже на основании результата сделаете вывод.

 

а как это должно работать? Извините пожалуйста, я так понимаю, вы сами не знаете как работать с прокси, зачем вы пытаетесь давать советы? Я не хочу пробовать делать неправильно и сравнивать с неправильным. Я хочу знать, как это должно в идеале работать и пытаться достичь таких же результатов. Нельзя нарушать или обходить правила, если не знаешь правил.

 

Кто ни-будь знает теорию? Как в теории должны правильно работать прокси? Подскажите пожалуйста

 

1 поток и пауза 1000мс бан наступает после 30 страниц. Нужно 300 000 страниц. Закинул 400 проверенных прокси, 50 потоков, 1000мс (на всякий случай) и парсинг на ночь, утром смотрю, остановилось на 5000 и объявление, прокси закончились, хотя в логах красных нет. Я думал, прокси отлетает, если его банят((

 

Подскажите, пожалуйста, где можно посмотреть или прочитать о том, как правильно парсить с помощью прокси, какие настройки используются в среднем или чаще всего? То, что есть в справке, подходит для маленьких проектов с очень малым количеством прокси, да еще и бесплатных, с комментарием "ну вы просто добавьте больше прокси", а как правильно это делать, не говорится. Нужен подробный мануал, описывающий весь процесс от начала до конца: как автоматизировать сбор и очистку платных прокси, как настроить потоки, паузы, в каких режимах парсить и т.д. Можно ли вас попросить добавить это в справку? Было бы здорово увидеть одно видео с примером нормального рабочего процесса.

 

Если, возникает так много вопросов, может стоит обратится за парсингом на платной основе ?

 

нужен просто мануал или короткое видео, обычного рабочего процесса. Парсинг идет, но нужно потратить много часов, чтобы понять как правильно парсить, совершить кучу ошибок, хотя все эти ошибки давно известны авторам программы(( Сейчас парсинг идет, со скоростью 300 страниц в час и придется потратить еще много часов, чтобы понять как настроить правильно. Например, почему спустя 2 часа скорость вырастает в несколько раз, на каком этапе автомат должен заменить на новые прокси не сбивая увеличенную скорость и нужно ли это делать автоматом или в ручную. Нужна пауза между запросами при большом количестве прокси или нет? Много вопросов, а почитать об этом негде, админы и участники форума игнорят(((

 

Сайт донор вы не раскрыли что бы понимать что вы там парсите.
Для парсинга иногда надо не только прокси.
Да и СD как инструмент не всегда подходит.
Тем более что автор его уже 2 года не поддерживает.

 

понятно, что есть куча деталей, но сама суть как это делать правильно нигде не описана. Прежде чем пытаться тыкать в разные места и что то проверять, нужно сначала понимать, как это правильно делать, а только потом пытаться улучшить или приноровится. Разве не так? Вы ведь не в каждом проекте выбираете максимально крайние настройки, с начало с чего то начинаете ведь, а потом докручиваете. Вот какие это "чаще всего используемые" настройки должны быть. отчего отталкиваться? Это не озон, это сайт на котором всего 300000 страниц. С каких настроек чаще всего начинают проверять парсинг через прокси? Вы наверное с чего то начинаете, с настроек по умолчанию, если все идет идеално, оставляете как есть, если не очень, то докрутите. Вот если совсем никак, то крайние настройки уже будете делать. Вот это какие "обычные", "чаще всего применяемые" настройки? Я хочу научится пользоваться инструментом "прокси", а не спарсить один сайт. Извините, за эмоции, просто уже устал описывать, очевидную проблему.

 

В справке все есть, с чего начать я вам написал выше. А для того чтобы спарсить сайт не факт что вообще нужно прокси. Прокси сейчас как правило нужны для заморских сайтов.