Сканер не находит некоторые ссылки

Тема в разделе "Сбор ссылок сканером сайтов", создана пользователем Silent1981, 14 ноя 2019.

  1. Silent1981

    Silent1981 New Member Пользователи

    Регистрация:
    14 ноя 2019
    Сообщения:
    2
    Город:
    Москва
    Приветствую!
    Что-то уже сутки ковыряюсь не могу разобраться...
    Нужно получить все страницы каталога товаров сайта вида Ссылки недоступны для гостей?page=2 с помощью сканера сайта.
    В коде web-страницы они присутствуют вида
    Код:
    <a href="#" data-href="/catalog/stoly-obedennye/?page=3">3</a>
    , но сканер их не цепляет.
    Подозреваю, что нужно либо задействовать клики с помощью WBApp, либо вытаскивать из кода web-документа по шаблону нужные относительные ссылки и подставлять к ним часть URL, то есть сделать абсолютными, но как сделать, сам не разобрался.
    Сгенерить ссылки страниц нужной категории можно, но для всего каталога будет долго.
    Если просто запустить сканер по всему сайту и фильтровать ссылки только на товары, то до "глубоких" страниц каталога сканер сам не дотягивается.
    Карту сайта по стандартному адресу не нашел, в robots.txt не указана.
    Видео по сканеру пересмотрел много, пока результата не дало.
    Заранее спасибо за помощь!
     
  2. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    не делайте это через сканер сайта, а немного посидеть (тоже самое время) и собрать руками, А потом дело техники.
     
  3. kenny872012

    kenny872012 Well-Known Member Пользователи

    Регистрация:
    18 фев 2018
    Сообщения:
    313
    Используйте следующее в поиск-замене:

    href="#" |
    data-href=|href=
    <ul class="navigation paginator">{AUTO}ul|{AUTO}{GETMETHOD}


    [​IMG]
     
    Последнее редактирование: 14 ноя 2019
    Root и Silent1981 нравится это.
  4. Silent1981

    Silent1981 New Member Пользователи

    Регистрация:
    14 ноя 2019
    Сообщения:
    2
    Город:
    Москва
    Спасибо, руками там на несколько дней работы, получилось по-другому:
    [​IMG]
    +
    Код:
    a href="{get}"
    link:{get;}
    тут
    [​IMG]

    Некоторые ссылки категорий были корявые, но список ссылок на карточки товаров получил полный...
     
    Root нравится это.

Поделиться этой страницей