Парсинг через прокси (с периодической перепроверкой списка прокси)

Тема в разделе "Прокси для парсинга", создана пользователем Atms, 8 янв 2016.

  1. Atms

    Atms Member Пользователи

    Регистрация:
    26 авг 2015
    Сообщения:
    40
    Добрый день!
    Требуется работать с сайтом через прокси. Из списка подошел только один прокси, но как использовать его не пойму Ссылки недоступны для гостей .
    После проверки списка просто закрывать окно и в окне "Настройка HTTP-запросов программы" жать Готово? Такое ощущение что еще где-то что-то подтвердить нужно.
     
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Негусто, это паблик прокси такие неживые?
    В принципе все правильно сделали, после проверки прокси действующие добавляются в нижнее окно, через них будут соединения.
     
  3. Atms

    Atms Member Пользователи

    Регистрация:
    26 авг 2015
    Сообщения:
    40
    Да, на каком-то сайте список выгрузил, там штук 30 было. А получается тогда нужно много запасных, сколько рекомендуете?
    Здесь в теме от 11 года список тоже попробовал, вообще ничего... Помурыжу сервисы что в комментах там.
     
  4. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Надо искать актуальные через google, публичные прокси.
    Или приобрести например у fineproxy
     
  5. Atms

    Atms Member Пользователи

    Регистрация:
    26 авг 2015
    Сообщения:
    40
    Используя этот Ссылки недоступны для гостей список нашёл 15 прокси. Этого достаточно?
    Подозреваю также что тут Ссылки недоступны для гостей в настройках может что то не так. И как вообще визуально протестировать работу сайта после подбора прокси? Пробую там же авторизацию через webbrowser.
     
  6. lion

    lion New Member Пользователи

    Регистрация:
    19 янв 2013
    Сообщения:
    28
    Вопрос, существует какая то возможно при парсинге определенного сайта через прокси проверять не только работоспособность прокси, но работоспособность прокси относительного сайта который парсится.

    При парсинге крупных сайтов где хорошая защита, часто прокси банятся и было бы очень удобно если бы забаненые прокси не попадали в общий список.
     
    Последнее редактирование: 2 дек 2017
  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    2017-12-03_01-11-49.png
     
    lion нравится это.
  8. Duck83

    Duck83 Member Пользователи

    Регистрация:
    3 окт 2017
    Сообщения:
    76
    Город:
    Симферополь
    Здравствуйте. Можете немного подробней объяснить за поле, куда нужно вводить адрес сайта, на котором проверять прокси и вхождения? Если я верно понимаю, то, допустим, если мне нужно парсить гугл, то вбивать в адрес сайта гугл.ком, но что тогда во второе поле "вхождения"? Или, если мне нужно проверить прокси для использования на конкретном сайте, то вбивать адрес сайта, и опять таки, что во втором поле тогда? И последнее, если я проверяю прокси на дефолтном ya.ru, то отобранные могут не подойти, парси я гугл и т.д.?
     
  9. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    1) Оставляйте пустым
    2) Если нужно именно получить кусок кода, например получить строку "Цена", если вы словите капчу, то и кода такого не будет
    Никогда вообще не пользовался вторым полем)
     
  10. Duck83

    Duck83 Member Пользователи

    Регистрация:
    3 окт 2017
    Сообщения:
    76
    Город:
    Симферополь
    ок. спасибо!
     
  11. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    да, вполне могут не подойти
     

Поделиться этой страницей