Сайт "блокирует" изображения от парсинга (РЕШЕНИЕ: нужно передать HTTP заголовок Referer)

Тема в разделе "Скачивание картинок и файлов", создана пользователем weresa, 1 мар 2020.

  1. weresa

    weresa Active Member Пользователи

    Регистрация:
    14 сен 2014
    Сообщения:
    197
    Здравствуйте, уважаемые гуру.
    Попался какой-то странный сайт, сделанный китайцами (Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме! ),
    который при открытии картинки в браузере заменяет ее надписью на китайском - Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме! .
    Хочется узнать экспертное мнение, возможно ли это преодолеть как-то? Сами ссылочки на фото получается собрать, а вот выкачать их в архив - увы, никак(((
    Очень прошу помочь разобраться. Заранее спасибо.
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    12.562
    Здравствуйте.

    Данный сайт для картинок требует передачу HTTP заголовка Referer.

    Замените файл Content Downloader.exe (в папке с программой) этим файлом:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 100 постов.**
    2020-03-01_20-02-13.png
     

    Вложения:

    weresa нравится это.
  3. pomansur

    pomansur Member Пользователи

    Регистрация:
    26 янв 2017
    Сообщения:
    18
    Данный сайт для картинок требует передачу HTTP заголовка Referer.
    Здравствуйте.
    Вот как, так понять, что это именно Referer не давал грузиться? Чуйка?
     
  4. weresa

    weresa Active Member Пользователи

    Регистрация:
    14 сен 2014
    Сообщения:
    197
    Не знаю, как Вы колдуете, Сергей, но это гениально! Осталось самой понять, что откуда берется ))
    В ОЧЕРЕДНОЙ РАЗ БЛАГОДАРЮ ВАС!!! :)
     
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    12.562
    Если ресурс по URL не грузится, нужно смотреть на передаваемые HTTP заголовки.

    Сначала к запросу добавляются все заголовки, например, взятые из монитора сети Firefox. Затем они поочередно удаляются и после каждого удаления части заголовков делается попытка загрузки. Тем самым определяется необходимый заголовок или заголовки.
     
    pomansur нравится это.

Поделиться этой страницей