Обход относительных ссылок сканером сайтов

Тема в разделе "Решение различных задач по парсингу", создана пользователем Serheo, 11 ноя 2021.

  1. Serheo

    Serheo Well-Known Member Пользователи

    Регистрация:
    13 окт 2018
    Сообщения:
    252
    Город:
    Москва
    Обхожу сканером категории на сайте. Первая страница категории имеет вид: Ссылки недоступны для гостей категории/?page=1, а ссылки страницы пагинации выглядят как href="?page=2" и сканер сайтов естественно по ним не переходит. Как преобразовать относительную ссылку в абсолютную, подставив в неё родительскую категорию, чтобы получилось Ссылки недоступны для гостей категории/?page=2 ?
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Преобразование происходит автоматически.

    Предоставьте URL категории, проверю.
     
  3. Serheo

    Serheo Well-Known Member Пользователи

    Регистрация:
    13 окт 2018
    Сообщения:
    252
    Город:
    Москва
    Вечер добрый, Сергей!
    Что-то не выходит у меня сегодня чаша. Проще проект приложить. Там сканер настроен на обход категорий, но пройти дальше 1-й страницы пагинации его заставить не получается.
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 10000 постов.**
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Ссылки на пагинацию здесь не в теге <a>, а в теге <link>
    Код:
    <link rel="next" href="?page=2">
    Добавьте правило для поиска таких ссылок

    2021-11-11_23-36-48.png

    Код:
    <link rel="next" href="{get}"
     
  5. Serheo

    Serheo Well-Known Member Пользователи

    Регистрация:
    13 окт 2018
    Сообщения:
    252
    Город:
    Москва
    Ковырял я это окно с подозрениями, что формат ссылок там особый, но про такой вариант пагинации как <link rel="next" просто не знал. Спасибо ОГРОМНОЕ!!!
     
    Root нравится это.
  6. Семен Семеныч

    Семен Семеныч New Member Пользователи

    Регистрация:
    6 мар 2015
    Сообщения:
    56
    del
     
    Последнее редактирование: 12 ноя 2021

Поделиться этой страницей