Advor+CD+Прокси

Тема в разделе "Решение различных задач по парсингу", создана пользователем Diabet, 11 май 2017.

Метки:
  1. Diabet

    Diabet Member Пользователи

    Регистрация:
    12 фев 2012
    Сообщения:
    114
    друзья кто сталкивался подскажите?
    использую связку Advor+CD
    ставлю прокси 127.0.0.1:9050
    но почему то в advor окне debug ничего не происходит как будто программа не использует адвор
    в логах пишет прокси 127.0.0.1:9050
    но через некоторое время сайт меня блокирует как робота
    как обойти?
    другие прокси тоже не маскируют запросы программы
    хотя проверку проходят
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 15 постов.**
     
  2. gans

    gans Well-Known Member Пользователи

    Регистрация:
    21 апр 2014
    Сообщения:
    309
    День добрый!

    Попробуйте в Advor отметить процесс Content Downloader во вкладке Intercept-Processes, а в Параметрах http-запросов CD выбрать Clever Internet Suite.

    Только что проверил на вашем примере - работает.
     
    Последнее редактирование: 11 май 2017
  3. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
  4. Diabet

    Diabet Member Пользователи

    Регистрация:
    12 фев 2012
    Сообщения:
    114
    именно там все морознулись решил отдельную тему сделать, а чего ж старый метод то перестал работать?
     
  5. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Метод?
     
  6. Diabet

    Diabet Member Пользователи

    Регистрация:
    12 фев 2012
    Сообщения:
    114
    ну метод когда было достаточно прописать
    127.0.0.1:9050
    в список прокси раньше только так юзал а сейчас как выше подсказали нужно делать перехват из адвора
     
  7. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Сомневаюсь что это меняет принцип проксирования, особенно таким методом вбапп остается не удел через Intercept.
    Сравнимо поговорке "пыль в глаза"))

    п.с. года 3 назад и яндекс маркет можно было через адвор парсить.
     
  8. gans

    gans Well-Known Member Пользователи

    Регистрация:
    21 апр 2014
    Сообщения:
    309
    Дополню. Работало в сканере сайтов на ресурсе, приведённом в первом посте.
     
  9. Diabet

    Diabet Member Пользователи

    Регистрация:
    12 фев 2012
    Сообщения:
    114
    так и я сомневаюсь а у меня вот так теперь работает как gans написал а как раньше нет
    а вообще возможно что бы вбапп прокси подхватывал а то не нашел в системе помощи поэтому поводу ничего?
     
    kagorec нравится это.
  10. gans

    gans Well-Known Member Пользователи

    Регистрация:
    21 апр 2014
    Сообщения:
    309
    И так, как раньше работает. Хотя у меня тоже почему-то сначала отказывался через 127.0.0.1:9050. Прекрасно собрались ссылки сканером сайта.
     
    Последнее редактирование: 12 май 2017

Поделиться этой страницей