Програме CD в доступе отказано

Тема в разделе "Решение проблем с загрузкой WEB-страниц", создана пользователем Neutrion, 1 окт 2021.

  1. Neutrion

    Neutrion Member Пользователи

    Регистрация:
    13 ноя 2020
    Сообщения:
    42
    Друзья всем привет! Столкнулся с проблемой, с этим проектом я работаю долго без проблем. Сегодня заметил такую историю - подгружаю данные с открытием браузера для контента с 5-ти сегундной выдержкой для загрузки данных.
    Что произходит - сегодня началось при предварительном просмотре пишет что "в доступе отказано" и соответственно я не могу открыть никакие данные я их не получаю, но при этом всём, если открыть просто ссылку в браузере (ХРОМ), то страница открывается довольно быстро без проблем вообще. В чём может быть проблема?
    Что ещё я заметил - допустим к примеру если я нажимаю на кнопку ЗАДАТЬ ВЫБРАНУЮ ГРАНИЦУ ПАРСИГА, то опять написано что в доступе отказано, код страницы загрузиться только с информацией об отказе, но при этом сама страница как бы вроде загрузится. Я пошёл дальше, переношу в новый проект одну из ссылко сайта который хочу парсить, нажимаю ЗАДАТЬ ВЫБРАНУЮ ГРАНИЦУ ПАРСИГА и ожидание кода висит длительное время но при этом загружается. Я так понимаю у меня где-то проблема с моим проектом. Где и Что может быть?
    Проект файл прилагается
    Видео
     

    Вложения:

    • oleole.cdp
      Размер файла:
      242,1 КБ
      Просмотров:
      2
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.224
    Адрес:
    @kagorec
    Город:
    Riga
    Намудрили в custom headers (Ctrl+h)
     
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.305
    Город:
    Барнаул
    Здравствуйте.

    Ссылки данного сайта и в браузере не открываются.

    Возможно, доступ блокируется из-за страны. Попробуйте использовать VPN, чтобы сайт посчитал, что запросы идут из другой незаблокированной им страны.
     
    Neutrion нравится это.
  4. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.224
    Адрес:
    @kagorec
    Город:
    Riga
    Проверьте в своем проекте с пустыми "cookies" и "custom headers"
     
    Neutrion и Root нравится это.
  5. Neutrion

    Neutrion Member Пользователи

    Регистрация:
    13 ноя 2020
    Сообщения:
    42
    Да помогло
     
  6. Neutrion

    Neutrion Member Пользователи

    Регистрация:
    13 ноя 2020
    Сообщения:
    42
    Друзья нужна и тут помощь, сайт с сегоднешнего дня начал блочить, хоть использую Прокси сервера. Выше был совет использовать VPN можно подсказку каким именно лучьше пользоваться.
     

    Вложения:

  7. Neutrion

    Neutrion Member Пользователи

    Регистрация:
    13 ноя 2020
    Сообщения:
    42
    Установил VPN на ПК, результат один и тот же CD блокирован.
    Открываю в браузере все открывает без проблем. Сложилось впечатление что я что то пропускаю в CD
     
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.305
    Город:
    Барнаул
    Здравствуйте.

    Добавьте в окно Ctrl+h в поле Custom Headers следующее:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    И тогда сайт будет парситься.
     
  9. Neutrion

    Neutrion Member Пользователи

    Регистрация:
    13 ноя 2020
    Сообщения:
    42
    Данное действие не помогло
     
  10. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.305
    Город:
    Барнаул
    Меня сейчас тоже подзабанил этот сайт.

    Скажите, как часто планируется парсинг этого сайта, по сколько документов в сутки и приемлемо ли перед парсингом 1 раз пройти каптчу вручную?
     
  11. Neutrion

    Neutrion Member Пользователи

    Регистрация:
    13 ноя 2020
    Сообщения:
    42
    - как часто планируется парсинг этого сайта
    Каждый день, так как поставщики на этом сайте зарегистрированы

    - по сколько документов в сутки
    50-2000 разные поставщики у кого 50, у кого 2000

    - приемлемо ли перед парсингом 1 раз пройти каптчу вручную
    приемлимо
     
  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.305
    Город:
    Барнаул
    Вроде проект работает.

    ~100 ссылок в нем было, спарсило все.

    Перед парсингом нажмите Ctrl+w, Ctrl+w и там пройдите каптчу. Затем закройте WBApp и начните парсинг во вкладке "Контент"...
     

    Вложения:

Поделиться этой страницей