пагинация подгружаемая скриптом

Тема в разделе "Решение различных задач по парсингу", создана пользователем kenny872012, 16 авг 2018.

  1. kenny872012

    kenny872012 Well-Known Member Пользователи

    Регистрация:
    18 фев 2018
    Сообщения:
    312
    Здравствуйте. Подскажите пожалуйста как в сканере сайта добавить в очередь ссылки пагинации, если они подгружаются скриптом. Пример страницы Ссылки недоступны для гостей
     
  2. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    867
    Можно сгенерировать диапазон ссылок
    [​IMG]
     
  3. kenny872012

    kenny872012 Well-Known Member Пользователи

    Регистрация:
    18 фев 2018
    Сообщения:
    312
    Спасибо, но этот метод не очень подходит, так как там 59 категорий с такой пагинацией, парсер планируется запускать по расписанию, хотелось бы что бы он обрабатывал сайт без участия пользователя
     
  4. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    867
    Тогда через
    - WBAPP
    - sitemap
     
  5. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    Собирайте ссылки товарных страниц с api ссылки.
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Список id категорий перечислен в коде источника, осталось только собрать и сгенерировать список api ссылок.
     
    xLime, kenny872012 и inotoxic нравится это.
  6. kenny872012

    kenny872012 Well-Known Member Пользователи

    Регистрация:
    18 фев 2018
    Сообщения:
    312
    Отлично, спасибо!
     
  7. Aleshij

    Aleshij New Member Пользователи

    Регистрация:
    20 апр 2019
    Сообщения:
    6
    Город:
    Минск
    А если пагинация сделана скриптом, но при этом ссылка вообще не меняется
    Ссылки недоступны для гостей
    [​IMG]
    как пройтись по всем страницам?

    Посмотрел видео Ссылки недоступны для гостей
    но у меня немного по другому есть ссылка на страницу с которой нужно спарсить контент, и на этой же странице есть пагинация, нужно как-то отдавать пост параметры другому скрипту, который на этой странице выводит другой контент.
     
    Последнее редактирование: 7 май 2019
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Не вижу ссылки на рубрику.
     
  9. Aleshij

    Aleshij New Member Пользователи

    Регистрация:
    20 апр 2019
    Сообщения:
    6
    Город:
    Минск
    Ссылки недоступны для гостей
    но там нужен логин и пароль, как его вам передать?
     
  10. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Выложите под HIDE (там можно указать 10000 сообщений, чтобы увидел только я).
     
  11. Aleshij

    Aleshij New Member Пользователи

    Регистрация:
    20 апр 2019
    Сообщения:
    6
    Город:
    Минск
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 10000 постов.**
     
  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    К ночи постараюсь сделать видео
     
  13. Aleshij

    Aleshij New Member Пользователи

    Регистрация:
    20 апр 2019
    Сообщения:
    6
    Город:
    Минск
    Спасибо
     
  14. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Вчера не смог записать, помешали (сильный фоновый шум, увы). Вечером будет возможность.
     
  15. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
     

    Вложения:

    • cagia_by.cdp
      Размер файла:
      37,2 КБ
      Просмотров:
      6
  16. Aleshij

    Aleshij New Member Пользователи

    Регистрация:
    20 апр 2019
    Сообщения:
    6
    Город:
    Минск
    Спасибо большое! Я так понимаю что бы все работало нужна Ultimate версия? И можно на этом же примере показать как делается автоматическая авторизация?
     
  17. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Пожалуйста.

    Да, требуется версия ULTIMATE.

    Возможность сделать видео будет только ближе к ночи.
     
  18. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
     

    Вложения:

    • 12.wbapp
      Размер файла:
      851 байт
      Просмотров:
      2
  19. Aleshij

    Aleshij New Member Пользователи

    Регистрация:
    20 апр 2019
    Сообщения:
    6
    Город:
    Минск
    Спасибо большое.
     
    Root нравится это.

Поделиться этой страницей