как правильно вписать http заголовки?

Тема в разделе "Формирование GET и POST-запросов", создана пользователем vanred79, 7 сен 2018.

  1. vanred79

    vanred79 Member Пользователи

    Регистрация:
    17 фев 2017
    Сообщения:
    86
    Здравствуйте!
    Хочу скачать данные с этой Ссылки недоступны для гостей, но при указании границ выходит такое сообщение - Программе не удалось загрузить WEB-страницу (HTTP/1.1 400 Bad Request).

    В настройке http запросов в custom headers написал следующее:
    Host: kitap.kz
    User-Agent: Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:49.0) Gecko/20100101 Firefox/49.0
    Accept: */*
    Accept-Language: ru,en-US;q=0.7,en;q=0.3
    Accept-Encoding: gzip, deflate, br
    X-CSRF-TOKEN: d5XJIeaDjCLUDBRoe120KngmDP92pAdUUXnHE7Rq
    X-Requested-With: XMLHttpRequest
    Referer: Ссылки недоступны для гостей
    Cookie: XSRF-TOKEN=eyJpdiI6Iithckh5OUlWdGh5NGxxUjFOdklFamc9PSIsInZhbHVlIjoiMk1LUGxsY1wvR1AwT0U0Tnk1R2FLeWdwMTRzMjloZytSVXM0RW9zTTg1SE1ZSnlKSnladzY1OGlTbmdrZ1dkQnppYzNiTVhwTnlQYmxlQ3l4ZXJ4SFdRPT0iLCJtYWMiOiI1NDk2ZGE5ZjE3ZDc1ODcxZTI5ZjdiZmQzNTQyMGNkOWRkMTVjMjY2NzYyZWIwY2Y4YzJkNDhmMDU4MmYxZTIwIn0%3D; laravel_session=eyJpdiI6ImhvYXE0M0RMMlV5eGFQKzkrYmRrMVE9PSIsInZhbHVlIjoiRE1qQU5aS2pqcFJoRGdham13KzJTbkllZitSYStJaUJsVXdJaEl0K05TV3ZvRWVYU3Urc2JMbytldnRZY1pwNCt3Z0I4bkFURzdpNStOODgrTEVuMnc9PSIsIm1hYyI6ImUxNWRhMWU1YjQ5ZjhlMjhkOGZmYTFlZjkxODE0ZDk2YTM3MGIyOWUwOTI1N2NjNWFjOTc0YmE1MGIzNWZhY2YifQ%3D%3D
    Connection: keep-alive

    Поставил Clever Internet Suite, но не помогло.
    Подскажите пожалуйста я ошибся в http заголовках или страницу вообще не возможно спарсить?
     
  2. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    867
    Можно, но так как описано в условии не получится.
    IE не может нормально обработать запросы и скрипты.
    Как вариант, через WBAPP получить код страницы, а уже в нем можно извлечь ссылку на книгу, в формате epub
    [​IMG]
     
    vanred79 нравится это.
  3. vanred79

    vanred79 Member Пользователи

    Регистрация:
    17 фев 2017
    Сообщения:
    86
    WBAPP не видит код страницы почему то
     
  4. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Тут передается токен и это гемор его делать
    Ссылки недоступны для гостей
    проще просто получать id книги и создавать вот такие ссылки
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    и сразу ее в DOWNLOADFILE
    Для получения ссылки достаточно поставить галочку контент в ctrl+h
     
    kagorec, xLime и vanred79 нравится это.
  5. lavr2004

    lavr2004 Member Пользователи

    Регистрация:
    31 май 2013
    Сообщения:
    35
    В коде страницы вы найдете приложение javascript (Ссылки недоступны для гостей), а так же файл, который оно форматирует в вебстраницу:
    <div id="main" data-book="/uploads/books/1732/File_book.epub" data-book-id="1732">
    <div class="loading">

    Для данного домена загружаемый файл будет лежать по адресу: Ссылки недоступны для гостей
    Думаю, дальше все понятно...
     
    kagorec и vanred79 нравится это.

Поделиться этой страницей