Парсинг ajax? пагинации

Тема в разделе "Разное", создана пользователем strateg2010, 27 апр 2018.

  1. strateg2010

    strateg2010 Active Member Пользователи

    Регистрация:
    12 фев 2018
    Сообщения:
    181
    Город:
    порт
    Доброго времени суток! Есть сайт Ссылки недоступны для гостей
    Нужно пропарсить до 32 страницы все ссылки на товары. Я так понял что нужны HTTP заголовки, подумал, нашел один: Ссылки недоступны для гостей
    Собственно проблема, с браузера ссылки отображаются, по страницам ходит, но как только загружаю в CD во вкладку Ссылки, при предпросмотре, сайт говорит что время сессии истекло. Тоже самое пробовал через WbApp первую ссылку видит, при нажатии на другую страницу пишет что время сессии истекло. Собственно вопрос, где взять эту сессию и передать CD?
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    В HTTP-заголовках (взять их из плагина и поместить в окно ctrl+h).

    Ссылки недоступны для гостей
     
  3. strateg2010

    strateg2010 Active Member Пользователи

    Регистрация:
    12 фев 2018
    Сообщения:
    181
    Город:
    порт
    В Cache-Control стоит вот это:
    Cache-Control: max-age=300
    Пробовал вставлять кэш, все равно эффект тот же

    Пробовал и по длинее:
    Cookie: _ym_uid=1523231905439811058; JSESSIONID=C31CE7E2DFE480BC0A81B12863E9C088.zoomos02; zms-cookie=5; zms-common-cookie=1

    и самый длинный:
    Cookie: zms-common-cookie=1; zms-cookie=5; _ym_uid=1523231905439811058; jv_visits_count_h0rKvYnRD3=2; JSESSIONID=7D2CA3A6BE1CFCE7364EB2C01CD020FB.zoomos02; pricelist-portal=""; zms-cookie=5; jv_enter_ts_h0rKvYnRD3=1524492203854; jv_refer_h0rKvYnRD3=http%3A%2F%2Fb2b.zoomos.by%2Fpricelist; jv_utm_h0rKvYnRD3=; jv_pages_count_h0rKvYnRD3=57; zms-common-cookie=1
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Я взял ссылку из плагина и все работает
    Код:
    http://b2b.zoomos.by/components/pricelist_page?pagerId=/b2b/pricelist-s=%D0%A2%D1%80%D0%B0%D0%B9%D0%B4%D0%B5%D0%BA%D1%81%D0%91%D0%B5%D0%BB%D0%9F%D0%BB%D1%8E%D1%81%20%D0%9E%D0%9E%D0%9E-city=&page=1&search=&tmpl=v2&currency=BYN&shopId=543&_=1524798716687
     
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Кажется, последний параметр в ссылке генерируется скриптом и постоянно меняется.

    В таких случаях прокликивайте пагинацию с помощью WBApp Ссылки недоступны для гостей
     
  6. strateg2010

    strateg2010 Active Member Пользователи

    Регистрация:
    12 фев 2018
    Сообщения:
    181
    Город:
    порт
    Пробовал, открывается первая страница и на каждый последующий клик "Закончилась сессия".
    Это надо с добавлением кэша проделывать?
     
  7. strateg2010

    strateg2010 Active Member Пользователи

    Регистрация:
    12 фев 2018
    Сообщения:
    181
    Город:
    порт
    Хмммм.... Мне очень интересно стало, пробовал такую же ссылку вставлял и генерировал все что нужно, ничего не отображалось. Теперь все ок
    page={num}&search=&tmpl=v2&currency=BYN&shopId=543&_=1524798716687
    Сейчас еще потестирую.
     

Поделиться этой страницей