Парсить информацию из HTTP-Заголовков

Тема в разделе "Подгрузка данных, которых нет в коде WEB-документа", создана пользователем sergo-8ck, 11 дек 2017.

  1. sergo-8ck

    sergo-8ck New Member Пользователи

    Регистрация:
    25 янв 2015
    Сообщения:
    38
    Город:
    Чебоксары
    Здравствуйте!
    Необходимо спарсить информацию которого нет в коде Web-документа.
    Но эта информация есть в HTTP-Заголовках. Каким образом парсить http-заголовки?
    Пытаюсь парсить Ссылки недоступны для гостей
    Мне нужна информация, что это автомобиль, а не лодка или мотоцикл и т.д.
    В http заголовках есть параметр "vehTypDesc":"AUTOMOBILE", но ее нет в web-документе.
    Но как мне ее парсить понятия не имаю, помогите пожалуйста!
     

    Вложения:

    • 1.jpg
      1.jpg
      Размер файла:
      252,9 КБ
      Просмотров:
      10
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Это не HTTP-заголовки запроса, а POST-data, которая отправляется серверу из браузера при выполнении запроса. Поясните, какую кнопку WEB-страницы вы нажимаете, чтобы получить этот запрос.
     
  3. sergo-8ck

    sergo-8ck New Member Пользователи

    Регистрация:
    25 янв 2015
    Сообщения:
    38
    Город:
    Чебоксары
    Ввожу в адресной строке Ссылки недоступны для гостей
    И смотрю в Mozilla Firefox при помощи плагина Live HTTP Headers.
    Никаких действий не совершаю, кроме как переход по ссылке Ссылки недоступны для гостей.
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Не нахожу таких данных у себя. Использую плагин Firefox HTTP Header Live. Соответственно, не могу понять, откуда берутся эти данные. Повторюсь: это не HTTP-заголовки ответа сервера, а отправляемая серверу POST-data.
     
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Может вы авторизованы на сайте?
     
  6. sergo-8ck

    sergo-8ck New Member Пользователи

    Регистрация:
    25 янв 2015
    Сообщения:
    38
    Город:
    Чебоксары
    Нет, я не авторизован.
    Сохранил отчет и через блокнот поиском нашел "vehTypDesc"
    Могу видео записать.
     
  7. sergo-8ck

    sergo-8ck New Member Пользователи

    Регистрация:
    25 янв 2015
    Сообщения:
    38
    Город:
    Чебоксары
    Вот видео

    Можно ли эти данные как то спарсить?
     
  8. sergo-8ck

    sergo-8ck New Member Пользователи

    Регистрация:
    25 янв 2015
    Сообщения:
    38
    Город:
    Чебоксары
    Вы мне хотя бы скажите возможно это вообще или нет?
     
  9. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Я вам дал ответ еще вчера.
     
  10. sergo-8ck

    sergo-8ck New Member Пользователи

    Регистрация:
    25 янв 2015
    Сообщения:
    38
    Город:
    Чебоксары
    Ну а POST-data вообще можно парсить или нет?
     
  11. xLime

    xLime Well-Known Member Супер Модератор Модератор

    Регистрация:
    4 сен 2017
    Сообщения:
    401
    Добрый день.

    Если я правильно понимаю, то POST-data - это запрос, который формируется вашим браузером - его невозможно спарсить, потому что он существует только для этого браузера. Для парсинга сайтов в программе CD используются специальные библиотеки, POST запрос, если он есть, уже сформирован.
    Ссылки недоступны для гостей (например)

    Собственные заголовки вы можете передать в окне настроек ctrl+h.
    Ссылки недоступны для гостей

    Попробуйте поискать другой метод парсинга этого сайта.
     
    Последнее редактирование: 13 дек 2017
    Root и sergo-8ck нравится это.
  12. sergo-8ck

    sergo-8ck New Member Пользователи

    Регистрация:
    25 янв 2015
    Сообщения:
    38
    Город:
    Чебоксары
    Спасибо за хороший развернутый ответ. Теперь можно спокойно думать дальше. А то завис на этом вопросе так.
     
    Root нравится это.

Поделиться этой страницей