Как спарсить заклоаченный сайт (Доступ к странице для жителетей Российской Федерации запрещён)

Тема в разделе "Решение проблем с загрузкой WEB-страниц", создана пользователем rockst, 9 окт 2019.

  1. rockst

    rockst New Member Пользователи

    Регистрация:
    10 май 2017
    Сообщения:
    5
    Есть сайт
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    если перейти на него по прямой ссылке то увидим следующее
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    если же перейдем из поисковой системы
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    то увидим контент.

    Подскажите, как можно открыть подобный защищенный сайт в CD
    Благодарю!
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Попробуйте парсить через прокси той страны, из которой открытие сайта разрешено.

    Ссылки недоступны для гостей
     
    rockst нравится это.
  3. rockst

    rockst New Member Пользователи

    Регистрация:
    10 май 2017
    Сообщения:
    5
    Проверил прокси трех стран, не открывает - тут суть в том, что если ты заходишь не из выдачи ПС тебя отфильтровывают,
    как в CD сформировать ссылку словно я зашел с яндекса/гугла?
     
  4. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Ctrl+h попробуйте в значении headers передавать Refferer
     
    rockst нравится это.
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Прокси должны быть с высокой степенью анонимности.

    Либо, как вариант, используйте приложения типа Windscribe (можно выбрать любую страну и все запросы с ПК будут перенаправляться через соответствующий прокси).

    PS: Изменение Referer и прочих HTTP-заголовков у меня положительного эффекта на этом сайте не дало.
     
    kagorec нравится это.
  6. rockst

    rockst New Member Пользователи

    Регистрация:
    10 май 2017
    Сообщения:
    5
    @Root @kagorec спасибо Вам большое за помощь, буду искать других доноров без подобного клоакинга.
     
    Root нравится это.
  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Windscribe
     
  8. rockst

    rockst New Member Пользователи

    Регистрация:
    10 май 2017
    Сообщения:
    5
    @Root @kagorec спасибо Вам большое за помощь, буду искать других доноров без подобного клоакинга.
    Установить Windscribe и в CD добавлять ссылку на сайт и он будет парситься без всяких хитростей?

    Не сработало
    [​IMG]
     
    Последнее редактирование: 9 окт 2019
  9. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    rockst нравится это.

Поделиться этой страницей