Парсинг категории, когда ссылки подгружаются при скроллинге WEB-страницы вниз

Тема в разделе "Общее", создана пользователем mcreper, 16 дек 2022.

  1. mcreper

    mcreper Member Пользователи

    Регистрация:
    26 ноя 2016
    Сообщения:
    23
    Здравствуйте. Нужно спарсить URL всех товаров категории на странице Ссылки недоступны для гостей Товары при скроллинге автоматически догружаются скриптом.
    Нашел GET запрос, который выдает ссылки на товары
    Код:
    https://conor.net.ua/products/kompleksy-vitaminov-mineralov-makro-i-mikroelementov-f184953114/?fcategory=2043&ajax=1&portionNumber=2&nextGoodsBackData=
    Но при парсинге его в программе получаю только текст ARRAY. Пытался вставлять custom headers, менял библиотеки запросов. Все равно не загружаются данные. Что-то я упустил. Заранее спасибо за помощь.
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    На этом сайте токен быстро устаревает. По этому, передача заголовков отпадает.

    Единственный вариант - скроллить в браузере (проект приложил).

    Еще одна сложность - на сайте очищаются верхние товары при прокрутке.

    Сделал примерную настройку для взятия URL. Нужно будет тестировать и подгонять параметры в проекте WBAppp.
     

    Вложения:

    mcreper нравится это.
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Также обратите внимание, что у этого сайта есть XML-карта.

    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     

Поделиться этой страницей