Как спарсить заклоаченный сайт (Доступ к странице для жителетей Российской Федерации запрещён)

Тема в разделе "Решение проблем с загрузкой WEB-страниц", создана пользователем rockst, 9 окт 2019.

  1. rockst

    rockst New Member Пользователи

    Регистрация:
    10 май 2017
    Сообщения:
    4
    Есть сайт
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    если перейти на него по прямой ссылке то увидим следующее
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    если же перейдем из поисковой системы
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    то увидим контент.

    Подскажите, как можно открыть подобный защищенный сайт в CD
    Благодарю!
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    11.433
    Попробуйте парсить через прокси той страны, из которой открытие сайта разрешено.

    Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!
     
    rockst нравится это.
  3. rockst

    rockst New Member Пользователи

    Регистрация:
    10 май 2017
    Сообщения:
    4
    Проверил прокси трех стран, не открывает - тут суть в том, что если ты заходишь не из выдачи ПС тебя отфильтровывают,
    как в CD сформировать ссылку словно я зашел с яндекса/гугла?
     
  4. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    3.639
    Город:
    Riga
    Ctrl+h попробуйте в значении headers передавать Refferer
     
    rockst нравится это.
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    11.433
    Прокси должны быть с высокой степенью анонимности.

    Либо, как вариант, используйте приложения типа Windscribe (можно выбрать любую страну и все запросы с ПК будут перенаправляться через соответствующий прокси).

    PS: Изменение Referer и прочих HTTP-заголовков у меня положительного эффекта на этом сайте не дало.
     
    kagorec нравится это.
  6. rockst

    rockst New Member Пользователи

    Регистрация:
    10 май 2017
    Сообщения:
    4
    @Root @kagorec спасибо Вам большое за помощь, буду искать других доноров без подобного клоакинга.
     
    Root нравится это.
  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    11.433
    Windscribe
     
  8. rockst

    rockst New Member Пользователи

    Регистрация:
    10 май 2017
    Сообщения:
    4
    @Root @kagorec спасибо Вам большое за помощь, буду искать других доноров без подобного клоакинга.
    Установить Windscribe и в CD добавлять ссылку на сайт и он будет парситься без всяких хитростей?

    Не сработало
    [​IMG]
     
    Последнее редактирование: 9 окт 2019
  9. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    3.639
    Город:
    Riga
    rockst нравится это.

Поделиться этой страницей