Парсинг POST-запросами

Тема в разделе "Решение различных задач по парсингу", создана пользователем JohnyLee, 16 ноя 2022.

  1. JohnyLee

    JohnyLee Member Пользователи

    Регистрация:
    10 фев 2018
    Сообщения:
    45
    Город:
    Murmans
    Добрый вечер!

    Есть страница, например
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 10 постов.**
    Требуется вытянуть ссылку на плеер, который подгружается при нажатии на кнопку 2 (см. скрин ниже).
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 10 постов.**
    Сама ссылка, которую нужно получить выглядит вот так:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 10 постов.**
    Я по Ссылки недоступны для гостей инструкции установил плагин в FireFox HTTP Header Live.
    Выяснил, что отправляется POST запрос на страницу
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 10 постов.**
    Параметры запроса вот такие: "CreatLink=&sourse=kodik&aid=5991".

    upload_2022-11-16_23-32-34.png

    Я сделал новый проект. И добавил туда данные вот так:

    upload_2022-11-16_23-33-24.png

    К сожалению, данные не появляются. Что не так сделал? Может быть еще нужно какие-то заголовки запроса передать?
     
  2. JohnyLee

    JohnyLee Member Пользователи

    Регистрация:
    10 фев 2018
    Сообщения:
    45
    Город:
    Murmans
    Не пойму как правильно вставлять Post-запросы в программу.
    Если брать из плагина FireFox (HTTP Header Live) то параметры выглядят вот так:
    Код:
    CreatLink=&sourse=kodik&aid=6238
    А если брать из самого Firefox (ctrl+shift+e), далее правой кнопкой мыши на запросе и выбрать "Копировать данные POST", то они выглядят так
    Код:
    -----------------------------203326712430370185314239196284
    Content-Disposition: form-data; name="CreatLink"
    
    
    -----------------------------203326712430370185314239196284
    Content-Disposition: form-data; name="sourse"
    
    alloha
    -----------------------------203326712430370185314239196284
    Content-Disposition: form-data; name="aid"
    
    6238
    -----------------------------203326712430370185314239196284--
    
    Но в любом случае данные в CD не подгружаются:
    • Если не заполнить CustomHeaders (ctrl+h) - то сайт возвращает ошибку "error: post invalide"
    • Если заполнить CustomHeaders (ctrl+h), скопировав параметры из плагина FF - то CD возвращает просто пустое поле.

    Кстати, когда через FireFox смотрю, там тоже пустое поле, пока вот эту галочку не нажать. Тогда уже появляется нужная ссылка.
    Может в CD тоже нужно дополнительную галку где-то нажать?

    upload_2022-11-18_9-9-18.png
     
  3. JohnyLee

    JohnyLee Member Пользователи

    Регистрация:
    10 фев 2018
    Сообщения:
    45
    Город:
    Murmans
    Нет, нашел в предпросмотре вариант с HTML-кодом. Там тоже пусто.

    upload_2022-11-18_9-17-26.png
     
  4. JohnyLee

    JohnyLee Member Пользователи

    Регистрация:
    10 фев 2018
    Сообщения:
    45
    Город:
    Murmans
    Прочитал в Ссылки недоступны для гостей инструкции, что нужно запросы с отдельной строки писать.
    Вот так тоже ссылка не подгружается. Дерево не выросло...
    Подскажите, что делаю не так?

    upload_2022-11-18_9-24-17.png
     
  5. masrub

    masrub Well-Known Member Пользователи

    Регистрация:
    29 июн 2018
    Сообщения:
    250
    Используйте <PHP_SCRIPT>
     
  6. JohnyLee

    JohnyLee Member Пользователи

    Регистрация:
    10 фев 2018
    Сообщения:
    45
    Город:
    Murmans
    Попробовал. Не помогает.
    Заголовки скопировал из FireFox и так же вставил в PHP_SCRIPT>.
    Попробовал поменять PreSET в CIS, тоже не помогло.

    upload_2022-11-18_10-40-4.png
    upload_2022-11-18_10-39-32.png
     
  7. masrub

    masrub Well-Known Member Пользователи

    Регистрация:
    29 июн 2018
    Сообщения:
    250
    Что вы хотите получить на выходе? какие конкретно данные?
     
  8. JohnyLee

    JohnyLee Member Пользователи

    Регистрация:
    10 фев 2018
    Сообщения:
    45
    Город:
    Murmans
    Хочу получить вот эту ссылку. Только саму ссылку т.е. текст.
    upload_2022-11-18_11-29-22.png
     

    Вложения:

  9. masrub

    masrub Well-Known Member Пользователи

    Регистрация:
    29 июн 2018
    Сообщения:
    250
    А что даст вам эта ссылка?
     

    Вложения:

    Root и JohnyLee нравится это.
  10. JohnyLee

    JohnyLee Member Пользователи

    Регистрация:
    10 фев 2018
    Сообщения:
    45
    Город:
    Murmans
    Супер, спасибо большое!
    Значит я пропустил тэг [FIELDVALUE].
    Запросил в личке реквизиты. Переведу благодарность.

    А ссылки мне нужны, чтобы использовать их в следующем парсинге видеобалансеров.
     
  11. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Уже сделали.

    Вот еще вариант грубой настройки на WBApp, раз уже готов.
     

    Вложения:

Поделиться этой страницей