Не работают приватные прокси

Тема в разделе "Прокси для парсинга", создана пользователем weresa, 10 апр 2020.

  1. weresa

    weresa Active Member Пользователи

    Регистрация:
    14 сен 2014
    Сообщения:
    237
    Доброго времени суток всем неравнодушным.
    Ситуация такая: были куплены прокси, пару дней отлично работали, потом как отрезало - ни в настройке границ, ни на выдаче, ни даже в проверке самих прокси НОЛЬ... Везде пусто и блокировка, как будто захожу без прокси. Все библиотеки перебрала, пробовала брать прокси с паролями и без них, и HTTP и SOCKS4/5 - результата нет :(
    Помогите разобраться, пожалуйста, кто-нибудь, психика рухнула уже ....
    Проект прикрепляю, прокси внутри.
    Заранее благодарю за любой отклик.
     

    Вложения:

    • wizemart_ru.cdp
      Размер файла:
      1,6 МБ
      Просмотров:
      3
    Последнее редактирование: 11 апр 2020
  2. weresa

    weresa Active Member Пользователи

    Регистрация:
    14 сен 2014
    Сообщения:
    237
    В общем, результат получен! :)
    Спустя 2 дня экспериментов с библиотеками и типами прокси решила попробовать на авось сменить юзер-агент (с Мозилы на Оперу).
    И "урраа! заработало!"
    Оказалось, это тоже имеет значение.
     
    kagorec нравится это.
  3. weresa

    weresa Active Member Пользователи

    Регистрация:
    14 сен 2014
    Сообщения:
    237
    Рано я обрадовалась... Опять нет доступа к сайту, перебрала все юзер-агенты, сначала это работало, сейчас перестало.
    Хотя прокси в чекере проходят на 100%, но страницу не грузят(

    Подскажите, плиз, откуда можно взять юзер-агенты актуальные?
     
    Последнее редактирование: 12 апр 2020
  4. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    В подписи набор юзерагентов
     
  5. weresa

    weresa Active Member Пользователи

    Регистрация:
    14 сен 2014
    Сообщения:
    237
    kagorec, низкий поклон Вам за помощь!!! )
     
    kagorec нравится это.
  6. weresa

    weresa Active Member Пользователи

    Регистрация:
    14 сен 2014
    Сообщения:
    237
    Опять здравствуйте.
    Я не знаю уже как быть(( Со вчерашнего дня платные прокси снова не работают. Хоть какие беру (http или анонимные), хоть с какой библиотекой, хоть с какими юзер-агентами, меняла свой айпи (и соответственно айпи привязки проксей) - все бесполезно и программа вообще не шевелится, прокси даже проверку не проходят(((((
    Публичные прокси проходят проверку и работают, но с такой скоростью, что я до конца года не соберу данные. Сделано 70% работы, очень нужно довести до конца...
    ПОМОГИТЕ, ЛЮДИ ДОБРЫЕ, ОЧЕНЬ ПРОШУ!
     
  7. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    В прикрепленном проекте лучше настроить парсинг через Wbapp.
    Код:
    [CLICK][classname][N]0[/N][FULL][ET_WAITFOR]:breadcrumb
    Данный источник с защитой cloudflare - значит без прокси и один useragent, один поток и с паузой.
     
  8. weresa

    weresa Active Member Пользователи

    Регистрация:
    14 сен 2014
    Сообщения:
    237
    kagorec, он меня без прокси принципиально не допускает . И один поток для 800 тыс ссылок - это маловато, имхо(
    А WBApp для каких именно целей, куда там кликать надо?
     
  9. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    В проекте 20тыс. ссылок видимо для примера были, потому рекомендовал Wbapp в 1 поток.
    Когда речь заходит о 800k товарах под защитой, необходимо использовать прокси которые не заблокированы в cloudflare. Судя по предидущим сообщениям это дело времени и всеравно прокси попадут в бан.
     
  10. Reset

    Reset Active Member Пользователи

    Регистрация:
    16 дек 2013
    Сообщения:
    114
    А что спарсить надо ?
    Если клауд платный аккаунт - то все непросто.
     
  11. Octavian

    Octavian Active Member Пользователи

    Регистрация:
    8 ноя 2016
    Сообщения:
    177
    weresa у Вас серверные прокси? Попробуйте мобильные динамические, во многих случаях они обходят антибот - защиту. Практически все продавцы дают потестить перед покупкой.
     
  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Убедитесь, что в менеджере прокси (ctrl+r) и в окне настройки HTTP запросов программы (ctrl+h) выбрана библиотека Clever Internet Suite (CIS).

    Данная библиотека работает со всеми видами прокси.

    Также убедитесь, что используется актуальная версия программы.

    PS: Если прокси перестают работать на каком-либо сайте, значит, они улетают в бан. Обратите внимание на совет Octavian выше.
     
  13. weresa

    weresa Active Member Пользователи

    Регистрация:
    14 сен 2014
    Сообщения:
    237
    Root, а Вы не подскажете, для настройки мобильных прокси в менеджере прокси такой же порядок будет? Вроде как у них написание отличается
     
  14. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Ни разу не использовал подобные прокси. Полагаю, что порядок такой же.
     
  15. Octavian

    Octavian Active Member Пользователи

    Регистрация:
    8 ноя 2016
    Сообщения:
    177
    В динамических прокси возможны различные варианты настройки. Зависит от того как настраивать ротацию айпи - по таймеру или по API. Гарантированно рабочее решение - установить на комп Proxifier, скачать отсюда Ссылки недоступны для гостей, прописать в настройках SOCKS5 в формате айпи:порт и написать админу прокси сервиса желаемый тайминг смены айпи.
    Менеджер прокси СД при этом настраивать не надо, опция использовать прокси выключена.
     
    xLime, weresa и Root нравится это.
  16. weresa

    weresa Active Member Пользователи

    Регистрация:
    14 сен 2014
    Сообщения:
    237
    Octavian, спасибо! Будем пробовать)
     
  17. weresa

    weresa Active Member Пользователи

    Регистрация:
    14 сен 2014
    Сообщения:
    237
    Здравствуйте.
    Динамические прокси удачно проработали сутки и "отвалились" :(
    Причем в обычном браузере сайт открывается, и встроенный в CD браузер страницу показывает нормально, но в окно настройки границ html-код страницы не передается (там отображается ситуация бана - Программе не удалось загрузить WEB-страницу (HTTP/1.1 503 Service Temporarily Unavailable), c WBApp такая же картина.
    Кэш IE почистила, не помогло. Перебрала все библиотеки - без толку.
    Подскажите, плиз, куда еще можно глянуть?
     
    Последнее редактирование: 19 апр 2020
  18. Octavian

    Octavian Active Member Пользователи

    Регистрация:
    8 ноя 2016
    Сообщения:
    177
    Динамические прокси через Proxifier настроили? Сколько айпи в пакете?
    Выложите актуальный проект.
     
  19. weresa

    weresa Active Member Пользователи

    Регистрация:
    14 сен 2014
    Сообщения:
    237
    Да, Proxifier. Дают один сервер, в пуле 2500 айпи, смена каждые 2 минуты.
     

    Вложения:

    Последнее редактирование: 20 апр 2020
  20. weresa

    weresa Active Member Пользователи

    Регистрация:
    14 сен 2014
    Сообщения:
    237
    добавлю, что если попытаться открыть ссылку с данного сайта вне проекта, т.е. с исходными настройками - ничего не меняется
     

Поделиться этой страницей