Парсинг ссылок с использованием post запросов

Тема в разделе "Решение различных задач по парсингу", создана пользователем Разиф, 26 апр 2019.

  1. Разиф

    Разиф New Member Пользователи

    Регистрация:
    7 дек 2012
    Сообщения:
    7
    Добрый день. Пытаюсь по этой инструкции Ссылки недоступны для гостей спарсить ссылки (на страницы со списком участников) с сайта
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 3 постов.**
    .
    Ничего не выходит. Прикрепляю файл проекта, версия ultimate со всеми обновлениями. Что я делаю не так?
     

    Вложения:

    • parse.cdp
      Размер файла:
      45,9 КБ
      Просмотров:
      2
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    В параметрах POST там передается
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Это значение, как я понимаю, генерируется автоматически (чтобы запрос был удачным). Как сгенерировать подобное рабочее - разбираться очень долго, зачем.

    Данный сайт лучше парсить с помощью WBApp.
     
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
     
  4. vostokfree

    vostokfree Member Пользователи

    Регистрация:
    29 авг 2014
    Сообщения:
    30
    Зравствуйте. Товарищи, подскажите пожалуйста, как переделать РOST запрос из JSON кодировки в подходщий вид для CD?
    Запрос
    {"operationName":"search","variables":{"type":"PLAIN","condition":{"categoryId":"183","filters":[],"shopId":null,"availableNow":false},"limit":"12","offset":36,"order":"DEFAULT"},"query":"query search($type: SearchType!, $condition: SearchCondition!, $order: SearchOrder, $limit: Int!, $offset: Int) {\n search(type: $type, condition: $condition, order: $order, limit: $limit, offset: $offset) {\n result {\n url\n groups {\n categoryId\n name\n total\n items\n total\n filters {\n name\n values {\n count\n value\n index\n digit\n name\n __typename\n }\n __typename\n }\n __typename\n }\n __typename\n }\n seo {\n h1\n title\n metaDescription\n keywords\n seoText\n canonicalUrl\n __typename\n }\n breadcrumbs {\n name\n link\n __typename\n }\n newUrl\n __typename\n }\n}\n"}

    ссылка
    Ссылки недоступны для гостей

    заголовки
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Сам бы хотел знать, пока не изучил.
     
    vostokfree нравится это.
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Предоставьте ссылку на WEB-страницу (откуда этот запрос выполняется) и поясните, что нажимать, чтобы вызвать этот запрос.
     
  7. vostokfree

    vostokfree Member Пользователи

    Регистрация:
    29 авг 2014
    Сообщения:
    30
    Ссылки недоступны для гостей
    запрос фомируется при обновлении страницы или при нажатии в пагинаии 4 страницы.
    Пытаюсь ссылки на товары спарсить. В запросе изменящийся параметр для генерации новых страниц "offset", но не получается запрос переделать под СD.
     
    Последнее редактирование: 6 сен 2019
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Пока с JSON POST запросом не разобрались, рекомендую парсить с помощью

    Ссылки недоступны для гостей
     
  9. vostokfree

    vostokfree Member Пользователи

    Регистрация:
    29 авг 2014
    Сообщения:
    30
    Вопрос в догонку. С помощью WBAppCEF лучше парсить не более чем в 2 потока, как и в ситуации с IE.
     
  10. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Если парсится нормально, можно увеличить количество потоков.
     
    vostokfree нравится это.
  11. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Построение JSON запроса есть в Clever Internet Suite актуальной версии. Стоит это дело 37 000 рублей. Попробую найти другие варианты
     
    Последнее редактирование: 10 сен 2019
  12. sten30

    sten30 Active Member Пользователи

    Регистрация:
    7 авг 2014
    Сообщения:
    228
    А демкой можно воспользоваться?

    Ссылки недоступны для гостей
    Демо-версия выдает предупреждающие сообщения с оценочной информацией; Все остальные функции полностью доступны без каких-либо ограничений.
     

Поделиться этой страницей