WBAppCEF проблема с Cloudflare

Тема в разделе "Решение различных задач по парсингу", создана пользователем lionz, 17 авг 2022.

  1. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Я тоже подумал про ограничения с определенных ip или персональная блокировка.

    Часто люди надолбят на блок и потом мучаются. А на самом деле все гораздо проще бывает.
     
    Xpite нравится это.
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Движок браузера, кстати, сегодня обновил (но не выложил пока).

    Кому нужно, пишите в Telegram.
     
    ITz и Xpite нравится это.
  3. Xpite

    Xpite Member Пользователи

    Регистрация:
    13 мар 2017
    Сообщения:
    103
    При первом входе на Ссылки недоступны для гостей для любых браузеров запускается проверка браузера от CloudFlare для любых ip. Вот он ней и речь, посмотрите пожалуйста
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Вижу, спасибо, постараюсь изучить вопрос.
     
    WildWolf, ArsMaxim и Xpite нравится это.
  5. vanchelos

    vanchelos New Member Пользователи

    Регистрация:
    26 авг 2018
    Сообщения:
    10
    Что то у меня тоже на одном сайте совсем глухо стало, вообще ничего не помогает, при этом, если взять тот же хром или firefox с каким нибудь менеджером закачек и сохранить им тыщ 10 страниц, без каких либо таймаутов, в несколько потоков, сохраняет без проблем.
     
  6. WildWolf

    WildWolf New Member Пользователи

    Регистрация:
    27 янв 2022
    Сообщения:
    3
    Ссылки недоступны для гостей
    upload_2023-4-28_17-31-17.png

    Даже при клике в ручную, страница повторно загружается с клауд... С некоторых ип иногда пропускает сайт без WBAPP...

    Программа умрет в скорее мне кажется, без возможности обхода новых капч и так далее...
     
  7. WildWolf

    WildWolf New Member Пользователи

    Регистрация:
    27 янв 2022
    Сообщения:
    3
    у WBApp даже при клике в ручную страница не загружается, идет повтор и так по кругу... Но в окне задании границ кликает нормально и страница подгружается, но только толку 0(
    Screenshot_5.jpg
     
  8. vanchelos

    vanchelos New Member Пользователи

    Регистрация:
    26 авг 2018
    Сообщения:
    10
    Он просто определяет, что браузер не тот, что у обычного человека. Если очень надо, то нужно обычным браузером скачать сайт и программой спарсить из сохраненных файлов локально. Не очень удобно, зато быстро, обычным браузером можно качать хоть в 100 потоков, claudflare не реагирует.
     
  9. WildWolf

    WildWolf New Member Пользователи

    Регистрация:
    27 янв 2022
    Сообщения:
    3
    как это обычным браузером скачать?
     
  10. vanchelos

    vanchelos New Member Пользователи

    Регистрация:
    26 авг 2018
    Сообщения:
    10
    Запихнуть ссылки в браузер и сохранить.
     
  11. antonsalomatin

    antonsalomatin New Member Пользователи

    Регистрация:
    15 май 2023
    Сообщения:
    2
    У меня та же история. В браузере навигатора нормально открывается, сам проходит проверку, и один раз только кнопкой допинывается, что я не робот, всегда после открывается нормально. В ВЕБ структуре при этом JS, но код из навигатора нормально копируется.
    Повторить такой же успех череp WBA, он не может пройти автоматическую проверку Клауда. Подставлял разные UA

    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
    Последнее редактирование: 15 май 2023
  12. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    867
    Добрый день
    Могу предложить кастомный парсер под данный сайт
    Контакты в подписи
     
  13. antonsalomatin

    antonsalomatin New Member Пользователи

    Регистрация:
    15 май 2023
    Сообщения:
    2
    Я его руками спарсил. Выяснилось, что информация там на 20% неконсистная и устаревшая. Но 15% новой даты ресурс дал.

    Глобально хочется, чтобы WBA не тупил на клаудфларе. Убеждён, что это возможно, т.к. встроенный браузер навигатора с куками системы решает вопрос без проблем.
     
  14. WebSlesar

    WebSlesar New Member Пользователи

    Регистрация:
    11 ноя 2020
    Сообщения:
    26
    Город:
    Москва
    Добрый день
    Не решился вопрос с cloudflare?
     

Поделиться этой страницей