Сайт "блокирует" изображения от парсинга (РЕШЕНИЕ: нужно передать HTTP заголовок Referer)

Тема в разделе "Скачивание картинок и файлов", создана пользователем weresa, 1 мар 2020.

  1. weresa

    weresa Active Member Пользователи

    Регистрация:
    14 сен 2014
    Сообщения:
    237
    Здравствуйте, уважаемые гуру.
    Попался какой-то странный сайт, сделанный китайцами (Ссылки недоступны для гостей),
    который при открытии картинки в браузере заменяет ее надписью на китайском - Ссылки недоступны для гостей.
    Хочется узнать экспертное мнение, возможно ли это преодолеть как-то? Сами ссылочки на фото получается собрать, а вот выкачать их в архив - увы, никак(((
    Очень прошу помочь разобраться. Заранее спасибо.
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Данный сайт для картинок требует передачу HTTP заголовка Referer.

    Замените файл Content Downloader.exe (в папке с программой) этим файлом:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 100 постов.**
    2020-03-01_20-02-13.png
     

    Вложения:

    weresa нравится это.
  3. pomansur

    pomansur Member Пользователи

    Регистрация:
    26 янв 2017
    Сообщения:
    19
    Данный сайт для картинок требует передачу HTTP заголовка Referer.
    Здравствуйте.
    Вот как, так понять, что это именно Referer не давал грузиться? Чуйка?
     
  4. weresa

    weresa Active Member Пользователи

    Регистрация:
    14 сен 2014
    Сообщения:
    237
    Не знаю, как Вы колдуете, Сергей, но это гениально! Осталось самой понять, что откуда берется ))
    В ОЧЕРЕДНОЙ РАЗ БЛАГОДАРЮ ВАС!!! :)
     
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Если ресурс по URL не грузится, нужно смотреть на передаваемые HTTP заголовки.

    Сначала к запросу добавляются все заголовки, например, взятые из монитора сети Firefox. Затем они поочередно удаляются и после каждого удаления части заголовков делается попытка загрузки. Тем самым определяется необходимый заголовок или заголовки.
     
    pomansur нравится это.
  6. ArsMaxim

    ArsMaxim New Member Пользователи

    Регистрация:
    22 мар 2013
    Сообщения:
    21
    Адрес:
    Симферополь
    Город:
    Симферополь
    Здравствуйте, Уважаемые!

    У меня тоже была проблема с yupoo.com
    Нашёл эту ветку...
    И вот снова подобная проблема, (не загружаются Изображения), на другом сайте Ссылки недоступны для гостей
    Referer: [DOCURL] - не помогает...

    Подскажите пожалуйста, как сделать?
     
  7. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    868
    Для таких "профи" - только на платной основе
     
  8. ArsMaxim

    ArsMaxim New Member Пользователи

    Регистрация:
    22 мар 2013
    Сообщения:
    21
    Адрес:
    Симферополь
    Город:
    Симферополь
    На звание “профи”, я и не претендую…
    Просил подсказать, а не учить…
    И благо, есть ещё, добрые люди!
    Да, сам протупил, запарился, разобрался!

    Таким “комерсам”, детей бы своих учить, чтоб не стали такими же…
    В старости, дай Бог дожить, стакан воды не кому будет принести...
     

Поделиться этой страницей