PROXY для Content Downloader, используя Tor

Коллеги, парсится у вас что-нибудь через Advor?
Чё-то у меня ничего толкового не выходит - ни гугл не парсится, ни яндекс.
Может по настройкам кто подскажет.

 

Кто нить в курсе, как избежать бана) хочу спарсить этот сайт http//kinofilms.tv/film/, ставил адвор не помогает, ставил 3 потока и паузу в секунду, тоже банит, сайт большой не знаю, как подобраться...

 

Пробуйте 1 поток и паузу в секунду. Если будет банить, увеличивайте паузу. Я не сторонник прокси, уж очень они плохо работают (зачастую). Хотя имел дело с покупными SOCKS-прокси пару раз и был весьма доволен результатом.

 

не знаю че делать, даже с 1 потоком в 5 секунд банят((

 

Подскажите, AdvOR должен менять динамически айпи для Conten Downloader-a? А то поставил один айпи и не меняет его вообще пробую заходить на проверялки айпи разные, типо:
Ссылки недоступны для гостей
Ссылки недоступны для гостей
Ссылки недоступны для гостей

В самой программе AdvOR изменения айпи вижу вверху, но заходя через CD ничего не меняется...
Есть у кого такое же?

Попробовал разные варианты настроек, крутил уже все что можно. как заставить менять айпи быстрее? в ФФ айпи меняются нормально, а вот в CD нет, гугл банит...
Подскажет кто нибудь по настройкам?

 

неменяет айпи чегото смотрел через CD всеравно айпимой?

 

Приветствую Всех!
Только начинаю разбираться с CD. Вот набрел на эту тему.
Скачал утилитку, указанную в первом посте, настроил как написано. Точнее там и настроек особо нет. Ставлю галочку на процессе CM. Запускаю "подключиться" - вроде все ок.
Но пытаюсь открыть какой-нибудь сайт через встроенный в СD браузер - и сайты вообще не открываются
Система Win 7, запускаю обе проги от администратора.

P.s. - попробовал перехватывать IE, и проверять IP адрес свой через него - всё работает, правда IE бывает вылетает.
А вот со встроенным браузером CD - какая=то засада.

Хотя когда просматриваю список ссылок сайта в CD - вроде выдает ссылки.


Вообщем потихоньку - браузер заработал. Но в то же время непонятно почему не работал раньше, т.к. настройки никакие не менял.
Вероятно очень много нерабочих цепочек проксей.
Вышел из CD зашел опять потом, подцепил его в ТОРе - опять не работает вот уже полчаса..

 

Спасибо за ответ!
Но получается нужно тыкать по новым цепям, пока браузер встроенный в CD не заработает?
Просто пара моментов смущают:
1. Когда я делаю загрузку линков с того сайта, который не открывается в браузере CD - эти ссылки все-таки грузятся.
2. IE на том же сайте - открывает его, хотя и очень часто падает (сам программа - IE). В смысле в случае, когда я IE тоже подцепляю в процессах.

 

Понятно! Ну я же не знал, таких подробностей про связку адвор и внутренний браузер
Спасибо, теперь понятно.

 

А кто нибудь все таки добился стабильного парсинга с advor??? Как ни крутил максимум 200 ссылок парсится из выдачи и все - потом ошибки в логах cd идут. В логах адвора при неудачах начинает писаться такое:

[16:10:53] [warn] Ограниченный процесс Content Downloader.exe [Content Downloader.exe] (PID: 8380) пытается разрешить адрес Ссылки недоступны для гостей .
[16:10:53] [warn] Content Downloader.exe [Content Downloader.exe] (PID: 8380): Перенаправление подключения для адреса Ссылки недоступны для гостей .
[16:10:53] [proxy] Connection request for Ссылки недоступны для гостей .
[16:10:53] [notice] [Content Downloader.exe PID: 8380, ID: 1bc] Загружено из Ссылки недоступны для гостей

И так до конца списка ссылок.

Кто как парсит выдачу с большими заданиями??? Интересно от 5000к ссылок.

Спасибо.

 

Подскажите, при использовании AdvOR, доступна функция "Авторизация через webbrowser"? Сканер сайтов работает с AdvOR, а "Авторизация через webbrowser" нет (никакие страницы не открываются). Как можно авторизироваться при включенном AdvOR?

 

Я правильно понимаю, что сейчас readtimeout не работает? Какое число не прописываю, все равно пропускает любые прокси...

 

Вы жали "добавить сервера без проверки"
Нужно жать "добавить сервера/проверить список"