Парсер POST

Тема в разделе "Как парсить сайт ***", создана пользователем KPOCAB4EG, 9 янв 2017.

Метки:
  1. KPOCAB4EG

    KPOCAB4EG New Member Пользователи

    Регистрация:
    6 авг 2014
    Сообщения:
    14
    Добрый день, как парсить POST-запросами? У меня есть сайт вида "Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме! " (без index.php и т.д.), заголовки (включая данные авторизации) и т.д. и данные в которых одна переменная (именно она задает выводимый результат который надо спарсить). Данные вида:

    {
    "123": "321",
    "456": "переменная",
    "789": "987"
    }

    Вот только куда и как мне это (данные) подставлять?
     
  2. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    6.505
    Адрес:
    sbfroot@gmail.com
    KPOCAB4EG нравится это.
  3. KPOCAB4EG

    KPOCAB4EG New Member Пользователи

    Регистрация:
    6 авг 2014
    Сообщения:
    14
    Спасибо! Не по теме, но в продолжении, я добился получения ответа, но ответ приходит как тут: http://forum.sbfactory.ru/threads/problema-s-kodirovkoj-pri-parsinge-sajta.4396/

    P.S. Вот в таком виде ответ должен приходить, вроде кодировка utf-8

    HTTP/1.1 200 OK
    Server: nginx/1.8.1
    Date: Tue, 10 Jan 2017 19:30:48 GMT
    Content-Type: application/json; charset=utf-8
    Connection: keep-alive
    Vary: Accept-Encoding
    Content-Length: 450
     
    Последнее редактирование: 10 янв 2017
  4. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    6.505
    Адрес:
    sbfroot@gmail.com
    Приложите проект.
     
    KPOCAB4EG нравится это.
  5. KPOCAB4EG

    KPOCAB4EG New Member Пользователи

    Регистрация:
    6 авг 2014
    Сообщения:
    14
    Всё, разобрался, в Custom Headers у меня было "Accept-Encoding: gzip", убрал теперь всё ок! Спасибо!

    Если можно, последний вопрос, Custom Headers меняются после строки [ROTATION]?

    То есть, я пишу всего лишь:

    Content-Type: application/json; charset=UTF-8
    [ROTATION]
    Content-Type: application/json; charset=UTF-9
    [ROTATION]
    Content-Type: application/json; charset=UTF-10
    [ROTATION]
    Content-Type: application/json; charset=UTF-11
    [ROTATION]
    Content-Type: application/json; charset=UTF-12
    [ROTATION]
    Content-Type: application/json; charset=UTF-13
    и для 6 запросов будут разные строки? А после прохождения всех 6 - по новой?
     
  6. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    6.505
    Адрес:
    sbfroot@gmail.com
    Пожалуйста.

    Да.
     
    KPOCAB4EG нравится это.
  7. KPOCAB4EG

    KPOCAB4EG New Member Пользователи

    Регистрация:
    6 авг 2014
    Сообщения:
    14
    А множественные [PARAM] не работают с Custom Headers?

    Ссылка
    Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме! :123|||456​

    Custom Headers
    Data: [PARAM(1)]​

    Сам POST
    {"123":"321","456":"[PARAM(2)]","789":"987"}​

    И не работает... Может не так что то делаю? В Custom Headers у меня находится токен, его надо менять, а в POST - айди привязанный к токену. То есть тут важно чтобы конкретные значения друг с другом ставились, а не просто рандом
     
  8. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    6.505
    Адрес:
    sbfroot@gmail.com
    Скачайте и установите доработанную версию программы (в программе: главное меню - файл - центр обновлений -> кнопка "обновить программу/скачать обновленную сборку").
     
    KPOCAB4EG нравится это.
  9. KPOCAB4EG

    KPOCAB4EG New Member Пользователи

    Регистрация:
    6 авг 2014
    Сообщения:
    14
    В Custom Header подставляется, а в POST-запрос нет (проверил POST без [PARAM], а в Custom Headers - [PARAM(3)] - всё ок - читает [PARAM(3)], а в POST запросе не разделяет на (1), (2), (3))
     
  10. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    6.505
    Адрес:
    sbfroot@gmail.com
    В POST-запрос подставляется:

    2017-01-13_00-31-20.png

    2017-01-13_00-30-25.png
     
    KPOCAB4EG нравится это.
  11. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    6.505
    Адрес:
    sbfroot@gmail.com
    Проверил другие функции, нашел, что в инструменте задания границ парсинга в POST-данных не подставлялись [PARAM(с индексами)] и во вкладке "Ссылки".

    Доработал:
    Скачайте и установите доработанную версию программы (в программе: главное меню - файл - центр обновлений -> кнопка "обновить программу/скачать обновленную сборку").
     
    Kreol и KPOCAB4EG нравится это.
  12. KPOCAB4EG

    KPOCAB4EG New Member Пользователи

    Регистрация:
    6 авг 2014
    Сообщения:
    14
    Всё заработало!) Спасибо!!
     
    Последнее редактирование модератором: 13 янв 2017
    Root нравится это.

Поделиться этой страницей