Сколько прокси нужно для парсинга?

в справке пишут примерно так "введите нужное количество", а сколько это нужное не пишут, правильнее написать "чаще всего это .." или "обычно это..". Как узнать это нужное количество, слишком большой разброс, для практики нужно начать со среднего значения и экспериментировать, если что-то идет не так. Без нужного контекста приходится просто гадать, т.к. без опыта этих знаний нет у человека. По поводу нужности прокси, 1 поток и пауза 1000мс бан наступает после 30 страниц. Нужно 300 000 страниц с отечественного сайта. Вы когда парсите, с каких настроек начинаете, чтобы проверить? Скорее всего это не 0 и не 1000000. С каких значений вы начинаете? С чего нужно начинать?

 

Все очень сильно зависит от сайта и от прокси. Так много прокси как вы написали я не использую. Писал вам выше про мобильные прокси. Иногда и 1 прокси достаточно. Не видя ваш проект и донора можно абстрактно рассуждать на эту тему хоть на 100 страниц.

 

ну вот видите, вы используете мобильные прокси, то как использовать мобильные прокси в справке я не видел и о таком как им пользоваться автор программы также не писал, и уж тем более, какие настройки для мобильного прокси использовать))) Я купил доступ на неделю к best-proxies, весь день экспериментирую, перепробовал все типы прокси с их сайта (мобильных там нет). Но настроек очень много, о которых в справках не указали, чем они отличаются друг от друга.
например есть пауза между попытками загрузки документов,
есть пауза между запросами,
есть readtimeot аж две штуки в разных местах и это только паузы)))))

 

Автор программы и так все очень подробно расписал, плюс много видео для изучения. Я не видел другого софта в котором все так разжовано в справке. А поповоду помощи вам я расписал что для этого нужно. На форуме все экстрасенсы и медиумы уволились.

 

То есть вы считаете, что справка так и должна работать, отправлять ссылки на сайты и проекты другим людям, а не содержать базу знаний?))) Допустим, я вам дам сайт или проект, вы ведь вобьёте привычные значения в первую очередь, наугад не будите вбивать крайние редкие значения)) Вот какие это значения, которые вы вбиваете чаще или всегда? Какие настройки по умолчанию подходят, а какие нужно редактировать? Если в настройках от 1 до 100 в 90% случаев вбиваете 80, то наверное с них и начнете эксперименты, не станете вы вбивать что-то другое, тем более во все формы и поля. Наверняка, нужно из 20 настроек изменить только 4-6, а не все. Я хочу научится, а не чтобы мне проект исправили, вот и прошу базу знаний, хотя бы скрины 2-3 окон необходимых инструментов, чтобы понять с чего начать, или текстом этих нескольких настроек, от людей которые когда-то, тоже настрадались от этого))))

 

Ссылки недоступны для гостей

 

я это уже наизусть выучил, все что там есть перепробовал по многу раз, там сплошные пробелы