Proxy сервисы которые пригодятся для Content Downloader

Спасибо. Но честно говоря. я не совсем понимаю, пока что...

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

 

Воспользовался вашим советом пробую тестовый режим 24 часа... все сразу показало и ссылки все видны все супер...

Спасибо еще раз..

Вопрос парсить на один ip как лучше... в 1 поток и с пуазами... может у вас уже был опыт с этим сайтом?

 

Всем доброго времени.
Впервые обращаюсь по этой теме.
Пользуюсь парсингом с сайтов доноров. Некоторые сайты дают бан.
Один из сайтов за раз дает взять товаров 150-200, затем сброс модема.
Приходится менять ip (у меня динамический адрес).
А всего товаров около 6 к. Т.е. мне 30-40 раз перезагружаться, чтобы менять ip. А перед этим еще ссылки разбить на части по 150-200 кусков.
Хотелось бы понять как можно использовать прокси (какие?) и во что мне это выйдет (сколько брать?)
Пожалуйста поделитесь рекомендациями.
Искренне благодарен.

 

Здравствуйте.

Источники прокси опубликованы в первом посте этой темы.

Если вам удается с 1 IP взять 150-200 адресов. Возьмите прокси с расчетом, например, по 1 прокси на 50 документов, которые нужно спарсить.

Также можете "погуглить" на предмет паблик проксей. Некоторые сайты можно и с ними парсить.

 

Используйте прокси мобильных операторов, особенность их в том что не надо делать сброс модема, внешний ip адрес таких прокси меняется динамически, по этому эти ip никогда не будут заблокированы
Ссылки недоступны для гостей

 

Спасибо! Это отлично. Но пока я так и не могу разобраться, как их "внедрить" в Content Downloader, чтобы они работали. Информация имеющаяся мне не раскрыла вопрос... Как-то подробнее бы, нагляднее что ль.

 

Вы бы систему помощи посмотрели. Говорят, помогает. Серьезно.

Ссылки недоступны для гостей

 

Как раз это и читаю. Добавил прокси, но что-то ничего не изменилось.
Снова скинул модем и пробую парсить. Вообще ни одной ссылки не обработал (не собрано инфо).
Все так?

 

У вас список прокси пуст, на одного не добавилось.

Для использования прокси с логин паролем переключитесь на библиотеку CIS.

 

Работает только с этими библиотеками

Спасибо. Пошло. Посмотрю как далеко. Ног пропущено пару ссылок чего-то. Видимо потери бывают...

 

Не работает прокси что ль. Делал 1 поток, паузу 3000, только на 294 документа хватило.
Я взял пробный прокси от мобильного оператора. В поддержке сообщили, что прокси не меняется, но каждые 2 минуты меняется ip.
Как проверить?

 

Я не знаю, зачем вам порекомендовали для такой задачи использовать 1 прокси. Зарядите нормальный список нормальных прокси и парсите хоть в 50 потоков (если количество прокси позволит).

 

Скорее да...
Если я вставлю в донлоадер купленные ip, то каков принцип их чередования/замены? Просто когда бан "прилетает" я не могу точно понять. В идеале, наверное, ip должны при парсинге чередоваться например через 1-2 минуту (примерно через столько бан). Как это работает и настраиватся?

 

Для парсинга этого сайта подойдут и бесплатные прокси, я же вам говорил, погуглите! Полно паблик прокси в интернете.

 

Понял насчет бесплатных. Но все же как с настройкой, каков принцип?

 

Я вам уже скидывал ссылку не хелп по настройке списка прокси серверов.

 

В этом окне выставляется интревал замены прокси? Т.е. по умолчанию 20 секунд?

 

В этом окне выставляется интревал замены прокси? Т.е. по умолчанию 20 секунд?

 

Вы меня уже напрягаете.

Банальный вопрос мусолить столько времени с кучей лишних уточнений.

Наведите курсор на это поле (что вы указали и прочтите, что там написано).

Нажмите при парсинге ctrl+l и посмотрите, как меняются прокси.

 

За ctrl+l отдельное спасибо.