Парсинг ajax? пагинации

Тема в разделе "Разное", создана пользователем strateg2010, 27 апр 2018.

  1. strateg2010

    strateg2010 Member Пользователи

    Регистрация:
    12 фев 2018
    Сообщения:
    84
    Город:
    Владивосток
    Доброго времени суток! Есть сайт Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!
    Нужно пропарсить до 32 страницы все ссылки на товары. Я так понял что нужны HTTP заголовки, подумал, нашел один: Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!
    Собственно проблема, с браузера ссылки отображаются, по страницам ходит, но как только загружаю в CD во вкладку Ссылки, при предпросмотре, сайт говорит что время сессии истекло. Тоже самое пробовал через WbApp первую ссылку видит, при нажатии на другую страницу пишет что время сессии истекло. Собственно вопрос, где взять эту сессию и передать CD?
     
  2. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    9.641
    Город:
    Сочи
    Здравствуйте.

    В HTTP-заголовках (взять их из плагина и поместить в окно ctrl+h).

    Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!
     
  3. strateg2010

    strateg2010 Member Пользователи

    Регистрация:
    12 фев 2018
    Сообщения:
    84
    Город:
    Владивосток
    В Cache-Control стоит вот это:
    Cache-Control: max-age=300
    Пробовал вставлять кэш, все равно эффект тот же

    Пробовал и по длинее:
    Cookie: _ym_uid=1523231905439811058; JSESSIONID=C31CE7E2DFE480BC0A81B12863E9C088.zoomos02; zms-cookie=5; zms-common-cookie=1

    и самый длинный:
    Cookie: zms-common-cookie=1; zms-cookie=5; _ym_uid=1523231905439811058; jv_visits_count_h0rKvYnRD3=2; JSESSIONID=7D2CA3A6BE1CFCE7364EB2C01CD020FB.zoomos02; pricelist-portal=""; zms-cookie=5; jv_enter_ts_h0rKvYnRD3=1524492203854; jv_refer_h0rKvYnRD3=http%3A%2F%2Fb2b.zoomos.by%2Fpricelist; jv_utm_h0rKvYnRD3=; jv_pages_count_h0rKvYnRD3=57; zms-common-cookie=1
     
  4. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    9.641
    Город:
    Сочи
    Я взял ссылку из плагина и все работает
    Код:
    http://b2b.zoomos.by/components/pricelist_page?pagerId=/b2b/pricelist-s=%D0%A2%D1%80%D0%B0%D0%B9%D0%B4%D0%B5%D0%BA%D1%81%D0%91%D0%B5%D0%BB%D0%9F%D0%BB%D1%8E%D1%81%20%D0%9E%D0%9E%D0%9E-city=&page=1&search=&tmpl=v2&currency=BYN&shopId=543&_=1524798716687
     
  5. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    9.641
    Город:
    Сочи
    Кажется, последний параметр в ссылке генерируется скриптом и постоянно меняется.

    В таких случаях прокликивайте пагинацию с помощью WBApp Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!
     
  6. strateg2010

    strateg2010 Member Пользователи

    Регистрация:
    12 фев 2018
    Сообщения:
    84
    Город:
    Владивосток
    Пробовал, открывается первая страница и на каждый последующий клик "Закончилась сессия".
    Это надо с добавлением кэша проделывать?
     
  7. strateg2010

    strateg2010 Member Пользователи

    Регистрация:
    12 фев 2018
    Сообщения:
    84
    Город:
    Владивосток
    Хмммм.... Мне очень интересно стало, пробовал такую же ссылку вставлял и генерировал все что нужно, ничего не отображалось. Теперь все ок
    page={num}&search=&tmpl=v2&currency=BYN&shopId=543&_=1524798716687
    Сейчас еще потестирую.
     

Поделиться этой страницей