Как спарсить следующие страницы пагинатора?

Тема в разделе "Решение различных задач по парсингу", создана пользователем ВладБлад, 1 май 2015.

  1. ВладБлад

    ВладБлад New Member Пользователи

    Регистрация:
    6 июн 2013
    Сообщения:
    28
    Если ссылки типа
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Не показываются новые ссылки на новые магазины со следующей страницы пагинатора. Всегда показывают те, что с первой страницы.
    Подскажите, что делать?
     
    Последнее редактирование: 1 май 2015
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    В теории должно работать. На практике - нужно смотреть поведение конкретного сайта (не абстрактного site ru).
     
  3. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    ..просмотрев на живом примере снифером запросов (аддон в мозиле httpfox например) или настроив Wbapp на выполнение автоматических кликов.
     
  4. ВладБлад

    ВладБлад New Member Пользователи

    Регистрация:
    6 июн 2013
    Сообщения:
    28
    Вот этот сайт:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Это вторая страница пагинатора. Но через программу показываются ссылки на магазины только с первой страницы и так до конца пагинатора.
     
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Я посмотрел, с каких адресов идет подгрузка страниц пагинатора на этом сайте и составил вам проект парсинга (меню - файл - загрузить проект).

    С уважением к вам, Сергей.
     

    Вложения:

    • kopikot_ru.cdp
      Размер файла:
      28,5 КБ
      Просмотров:
      38
  6. ВладБлад

    ВладБлад New Member Пользователи

    Регистрация:
    6 июн 2013
    Сообщения:
    28
    Спасибо. Сложная тема оказалась. Они засунули в одну структуру url и магазины и бренды и категории.
     
  7. ВладБлад

    ВладБлад New Member Пользователи

    Регистрация:
    6 июн 2013
    Сообщения:
    28
    А как сделать, что если на странице есть слово "магазин" то ссылка парсится, если нет, то не парсится?
    Немного не работает Ваш вариант. Не все магазины, и захватывает все бренды, категории. А нужно только магазины.
     

Поделиться этой страницей