Как подменить заголовок referer

Тема в разделе "Решения по парсингу популярных сайтов", создана пользователем AirPaimon, 24 май 2020.

Метки:
  1. AirPaimon

    AirPaimon New Member Пользователи

    Регистрация:
    6 май 2020
    Сообщения:
    4
    Город:
    Тамбов
    Добрый вечер! Подскажите пожалуйста, как в программе подменить заголовок referer? Есть список ссылок на видео Vimeo вида Ссылки недоступны для гостей, которые, если открывать напрямую, выдают "Частное видео". Открыть их можно только если сделать на них переход с определенного сайта, то есть необходимо подменить заголовок referer на домен, с которого можно просматривать эти видео как это делает расширение Referer Control. Данный домен известен, а вот как реализовать подмену referera в CD, чтобы программа переходила по ссылкам с определенного сайта?
     
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    Такая возможность есть в Ctrl+h, через [PARAM] например или сразу вписать значение.

    [​IMG]
     
  3. AirPaimon

    AirPaimon New Member Пользователи

    Регистрация:
    6 май 2020
    Сообщения:
    4
    Город:
    Тамбов
    Пробовал прописывать таким образом, указывал в custom headers сайт, с какого необходимо переходить по ссылкам вида Referer: domen.ru, но к сожалению не открывает, выдает как частное видео.
     
  4. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    867
    Скорей всего еще какой-то токен передается или нужно cookie передавать
     
  5. AirPaimon

    AirPaimon New Member Пользователи

    Регистрация:
    6 май 2020
    Сообщения:
    4
    Город:
    Тамбов
    Пробовал вставлять в custom headers скопированные с mozilla firefox заголовки запроса, однако безуспешно
     
  6. moskal_alexandr

    moskal_alexandr New Member Пользователи

    Регистрация:
    1 авг 2020
    Сообщения:
    5
    Город:
    Краснодар
    Добрый день! Похожая проблема у меня.

    Простая задача - собрать бренды конкурентов. Например есть Ссылки недоступны для гостей и с нее нужно собрать бренды. Все бренды появляются после клика на ссылку "Посмотреть все".

    Через фаирфокс получаю, что бренды находятся на этой ссылке Ссылки недоступны для гостей, POST запрос прописываю [JSONREQUEST]{"key": "brand","freeze": true}[/JSONREQUEST]. Но результат нулевой. Насколько я понимаю нужно еще передать данные рефера, именно той страницы которую парсим. И не могу понять как этот рефер передать.

    Может поможет кто?
     
  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Здесь должны быть переданы следующие заголовки:
    Код:
    Content-Type: application/json
    Referer: https://www.ozon.ru/seller/lime-store-72545/products/
    Cookie:  ...
    Их можно вставить из Firefox вручную, например, в макрос шаблона вывода PHP_SCRIPT:
    Код:
    <PHP_SCRIPT=https://www.ozon.ru/api/composer-api.bx/_action/getSearchFilterValues[UTF-8]>
    <HEADERS>ЗАГОЛОВКИ</HEADERS>
    <REPLACE></REPLACE>
    {"key":"brand","freeze":true}
    </PHP_SCRIPT>
    Если их нужно получать автоматически, то можно попробовать получать их через WBAppCEF в инструменте авторизации Ctrl+k.

    Или можно парсить через имитацию клика в WBAppCEF.
     
    moskal_alexandr нравится это.
  8. moskal_alexandr

    moskal_alexandr New Member Пользователи

    Регистрация:
    1 авг 2020
    Сообщения:
    5
    Город:
    Краснодар
    Спасибо, Сергей! Через WBAppCEF изначально и пытался имитировать клик, но не сработало, пока не обновил программу (последнее обновление пару лет назад ставил).

    После обновления все работает как часы!
     
    Root нравится это.
  9. exelica

    exelica New Member Пользователи

    Регистрация:
    3 авг 2023
    Сообщения:
    3
    Город:
    Ростов
    Приветствую.

    Не стал создавать новую тему, поэтому пишу тут. Пожалуйста, подскажите, как подменить реферер или передать любой другой кастомный заголовок вручную со включенным WBApp? То поле с передачей http-заголовков работает только для CIS. В Ссылки недоступны для гостей также ничего по этому поводу.
     
    seodamage нравится это.
  10. seodamage

    seodamage New Member Пользователи

    Регистрация:
    5 фев 2014
    Сообщения:
    31
    присоединяюсь к вопросу
     
  11. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Приветствую. вот вы сами подумайте, я МОГУ ПЕДАТЬ КАКЙ_ТО КАСТОМНЫЙ, ну и получите ПОШ****Н***А-***Й. Перестанете заниматься ерундой, пишите, будем пробовать решать!
     
  12. LulzSec_ru

    LulzSec_ru New Member Пользователи

    Регистрация:
    15 май 2022
    Сообщения:
    46
    Привет всем. А что если передавать заголовки через wbap (getcookies), сбрасывая web страницу перед каждым запросом.

    Мне это помогло в случае с beacon (скрипт выдающий токен доступа к api)
     

Поделиться этой страницей