PROXY для Content Downloader, используя Tor

Тема в разделе "Решение проблем с использованием программы", создана пользователем kagorec, 3 апр 2012.

  1. boodooboo

    boodooboo New Member Пользователи

    Регистрация:
    15 мар 2010
    Сообщения:
    27
    Коллеги, парсится у вас что-нибудь через Advor?
    Чё-то у меня ничего толкового не выходит - ни гугл не парсится, ни яндекс.
    Может по настройкам кто подскажет.
     
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    два разных сайта и каждому свои настройки надо вносить, а получается только методом "тыка" - пробуйте, но повторюсь что гугл более лояльнее)
     
  3. romancabrov

    romancabrov New Member Пользователи

    Регистрация:
    20 ноя 2012
    Сообщения:
    37
    Кто нить в курсе, как избежать бана) хочу спарсить этот сайт http//kinofilms.tv/film/, ставил адвор не помогает, ставил 3 потока и паузу в секунду, тоже банит, сайт большой не знаю, как подобраться...
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Пробуйте 1 поток и паузу в секунду. Если будет банить, увеличивайте паузу. Я не сторонник прокси, уж очень они плохо работают (зачастую). Хотя имел дело с покупными SOCKS-прокси пару раз и был весьма доволен результатом.
     
  5. romancabrov

    romancabrov New Member Пользователи

    Регистрация:
    20 ноя 2012
    Сообщения:
    37
    не знаю че делать, даже с 1 потоком в 5 секунд банят((
     
  6. S-J

    S-J New Member Пользователи

    Регистрация:
    1 мар 2013
    Сообщения:
    2
    Подскажите, AdvOR должен менять динамически айпи для Conten Downloader-a? А то поставил один айпи и не меняет его вообще пробую заходить на проверялки айпи разные, типо:
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей

    В самой программе AdvOR изменения айпи вижу вверху, но заходя через CD ничего не меняется...
    Есть у кого такое же?

    Попробовал разные варианты настроек, крутил уже все что можно. как заставить менять айпи быстрее? в ФФ айпи меняются нормально, а вот в CD нет, гугл банит...
    Подскажет кто нибудь по настройкам?
     
    Последнее редактирование: 17 мар 2013
  7. igor3310

    igor3310 New Member Пользователи

    Регистрация:
    14 фев 2011
    Сообщения:
    54
    неменяет айпи чегото смотрел через CD всеравно айпимой?
     
  8. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    зависит от вашей операционной системы, бывает нужно от админа запускать адвор
     
  9. abc26

    abc26 New Member Пользователи

    Регистрация:
    4 авг 2013
    Сообщения:
    3
    Приветствую Всех!
    Только начинаю разбираться с CD. Вот набрел на эту тему.
    Скачал утилитку, указанную в первом посте, настроил как написано. Точнее там и настроек особо нет. Ставлю галочку на процессе CM. Запускаю "подключиться" - вроде все ок.
    Но пытаюсь открыть какой-нибудь сайт через встроенный в СD браузер - и сайты вообще не открываются :(
    Система Win 7, запускаю обе проги от администратора.

    P.s. - попробовал перехватывать IE, и проверять IP адрес свой через него - всё работает, правда IE бывает вылетает.
    А вот со встроенным браузером CD - какая=то засада.

    Хотя когда просматриваю список ссылок сайта в CD - вроде выдает ссылки.


    Вообщем потихоньку - браузер заработал. Но в то же время непонятно почему не работал раньше, т.к. настройки никакие не менял.
    Вероятно очень много нерабочих цепочек проксей.
    Вышел из CD зашел опять потом, подцепил его в ТОРе - опять не работает вот уже полчаса..
     
    Последнее редактирование: 5 авг 2013
  10. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    вы ответили на свой вопрос)
    периодически если подвсает то смените сразу цепочку
    [​IMG]
     
  11. abc26

    abc26 New Member Пользователи

    Регистрация:
    4 авг 2013
    Сообщения:
    3
    Спасибо за ответ!
    Но получается нужно тыкать по новым цепям, пока браузер встроенный в CD не заработает?
    Просто пара моментов смущают:
    1. Когда я делаю загрузку линков с того сайта, который не открывается в браузере CD - эти ссылки все-таки грузятся.
    2. IE на том же сайте - открывает его, хотя и очень часто падает (сам программа - IE). В смысле в случае, когда я IE тоже подцепляю в процессах.
     
  12. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    При использовании адвор забудьте о предосмотре во встроенном броузере, только код открывая настраивайте. Хардкорно конечно, но я например к броузеру Opera подключал адвор если надо было смотреть сайт который меня заблокировал и там смотрел нужные части и потом отдельно в парсере вставлял скопированное название и поиском по коду ориентировался чоб зацепить границей нужное.
    п.с. это может чудно звучит, но при бане сайта такое привычно и не создает каких либо проблем.
     
  13. abc26

    abc26 New Member Пользователи

    Регистрация:
    4 авг 2013
    Сообщения:
    3
    Понятно! Ну я же не знал, таких подробностей про связку адвор и внутренний браузер :)
    Спасибо, теперь понятно.
     
  14. serfer

    serfer New Member Пользователи

    Регистрация:
    4 ноя 2011
    Сообщения:
    9
    А кто нибудь все таки добился стабильного парсинга с advor??? Как ни крутил максимум 200 ссылок парсится из выдачи и все - потом ошибки в логах cd идут. В логах адвора при неудачах начинает писаться такое:

    [16:10:53] [warn] Ограниченный процесс Content Downloader.exe [Content Downloader.exe] (PID: 8380) пытается разрешить адрес Ссылки недоступны для гостей .
    [16:10:53] [warn] Content Downloader.exe [Content Downloader.exe] (PID: 8380): Перенаправление подключения для адреса Ссылки недоступны для гостей .
    [16:10:53] [proxy] Connection request for Ссылки недоступны для гостей .
    [16:10:53] [notice] [Content Downloader.exe PID: 8380, ID: 1bc] Загружено из Ссылки недоступны для гостей

    И так до конца списка ссылок.

    Кто как парсит выдачу с большими заданиями??? Интересно от 5000к ссылок.

    Спасибо.
     
  15. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    Как практика показывает адвор и поисковики несовместимы, слишком оперативно в бан уходят цепочки, а если глянуть базу ип спамеров (на спец. сайтах) так там считай все тор сети. Хотите парсить выдачу с положительным результатом - прокси от серьезных сервисов (например AWM-Proxy нет проблем с парсингом выдачи)
     
  16. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    В январе 2014-го заметно начало ухудшаться работа адвора, новые или старые версии одинаково.
    Соединение с сетью не происходит полностью.
     
  17. Dima

    Dima New Member Пользователи

    Регистрация:
    5 мар 2014
    Сообщения:
    1
    Подскажите, при использовании AdvOR, доступна функция "Авторизация через webbrowser"? Сканер сайтов работает с AdvOR, а "Авторизация через webbrowser" нет (никакие страницы не открываются). Как можно авторизироваться при включенном AdvOR?
     
  18. Freesty1er

    Freesty1er New Member Пользователи

    Регистрация:
    30 дек 2013
    Сообщения:
    95
    [​IMG]

    Я правильно понимаю, что сейчас readtimeout не работает? Какое число не прописываю, все равно пропускает любые прокси...
     
  19. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Вы жали "добавить сервера без проверки"
    Нужно жать "добавить сервера/проверить список"
     
  20. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    Вы вводите в заблуждение своим постом, причем тут обсуждение проверки прокси если тема об Адворе :wonder:
     

Поделиться этой страницей