Парсинг post-запросом информации

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем genjak, 12 ноя 2013.

  1. genjak

    genjak New Member Пользователи

    Регистрация:
    8 ноя 2013
    Сообщения:
    2
    Добрый день, необходимо спарсить все ссылки генерируемые post запросами.

    То есть есть сайт, на сайте контент генерируется аяксом - обращаясь к определенному скрипту и этот скрипт принимает post запросы.

    Необходимо отправить сотни post запросов и получить информацию по ним.
    Подскажите как можно это сделать ?

    Вот пример - Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме! - необходимо парсить багажники thule.

    Так же происходит и на сайте - Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!

    А вообще нужно парсить подбор по багажникам.
     
  2. nikolas1612

    nikolas1612 New Member Пользователи

    Регистрация:
    27 ноя 2011
    Сообщения:
    439
    только подключение через PHP_SCRIPT
    если получится, просьба поделиться скриптом (он должен быть простеньким).
    что-то много стало попадаться сайтов с такой проблемой. пагинация завязана на ПОСТ-запросы, не пускает дальше первой страницы.
     
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    11.144
    Город:
    Сочи
    Но вы так же должны знать, что любой GET-запрос вида site.ru/?p=555&p2=333 - это ПО СУТИ POST-запрос с параметрами:
    И наоборот!
     
  4. Benjamin Coleman

    Benjamin Coleman New Member Пользователи

    Регистрация:
    23 окт 2010
    Сообщения:
    150
    Там через GET отдаются данные:

    [​IMG]

    Нужно только собрать базу параметров для подбора
     
  5. nikolas1612

    nikolas1612 New Member Пользователи

    Регистрация:
    27 ноя 2011
    Сообщения:
    439
    честно говоря, я не смотрел скрипты по которым работают сайты САБЖ-а, поверил на слово. может, автор и ошибся, как сказал Benjamin_Coleman, и там все на GET-запросах. Зато моя ситуация полностью соответствует теме, слово в слово. Как ни бился - не могу добиться вывода ссылок со второй страницы новостей этого ресурса
    Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме! (это первая страница, внизу - пагинация, хочу получить ссылки со страниц 2 и 3)
    прочитав ответ, попытался присобачить ПОСТ-параметры в ссылку так -
    Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!
    и так
    Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!
    вставлял кукисы, экспериментировал с custom_headers
    результат один и тот же - набор ссылок с первой страницы.
     
  6. Benjamin Coleman

    Benjamin Coleman New Member Пользователи

    Регистрация:
    23 окт 2010
    Сообщения:
    150
  7. genjak

    genjak New Member Пользователи

    Регистрация:
    8 ноя 2013
    Сообщения:
    2
    Согласен - в roof-rack - внутри get запросы - только пере get запросом идет выборка из более 1000 автомобилей - выпдаающая форма марки авто - подгружается аяксом - модели автомобиля и уже после чего - get можно использовать...
     

Поделиться этой страницей