Бесконечная пагинация c динамическим {num}

Тема в разделе "Решение различных задач по парсингу", создана пользователем temkin86, 19 янв 2022.

  1. temkin86

    temkin86 New Member Пользователи

    Регистрация:
    22 май 2019
    Сообщения:
    19
    Город:
    Чебоксары
    Помогите пожалуйста решить проблему, в коде сайта нет последней страницы в категориях, при использовании динамического {num} программа не останавливается и продолжает листать несуществующие страницы, т.к. при входе на эти страницы url изменяется на другое.
    пример страницы Ссылки недоступны для гостей
    если номер страницы выйдет за пределы существующих, то url меняется на Ссылки недоступны для гостей
    на которой выдается первая страница той же категории с товарами.



    Мне известны последние страницы всех категорий (в эксель легко посчитать количество страниц зная количество товаров в категориях), единственное этих категорий сотни и размножать достаточно сложно вручную. Возможно ли в генераторе страниц автоматически сформировать все страницы категорий, если есть список ссылок последних страниц?

    Каким способом проще или быстрее сформировать список ссылок?
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Настроил сбор ссылок и во вкладке "Ссылки" и в сканере сайтов (многопоточно).
     

    Вложения:

    • avtomoe_com.cdp
      Размер файла:
      41,9 КБ
      Просмотров:
      8
  3. temkin86

    temkin86 New Member Пользователи

    Регистрация:
    22 май 2019
    Сообщения:
    19
    Город:
    Чебоксары
    Шикарно))) спасибо большое)))))
     
  4. temkin86

    temkin86 New Member Пользователи

    Регистрация:
    22 май 2019
    Сообщения:
    19
    Город:
    Чебоксары
    а с динамическим {num} key2 не работает? Знаю как обойтись без него, но сильно упростит.
     
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Генерируйте в сканер сайтов. Там {num} не нужен. Он сам обходит страницы рубрик.
     

Поделиться этой страницей