Сбор ссылок с рубрики и подрубрик

Тема в разделе "Сбор ссылок сканером сайтов", создана пользователем alex380, 15 ноя 2019.

  1. alex380

    alex380 New Member Пользователи

    Регистрация:
    9 ноя 2019
    Сообщения:
    11
    Город:
    Прокопьевск
    Есть альбом с пагинацией 2942273488/albums?page=1, для него я выставил настройки 2942273488/albums?page={num} и диапазон значений. На каждой страницы альбома, есть категории при клике на которые ссылка принимает вид 2942273488/collections/304642 при чём этот кусок ссылки /collections/ присутствует при переходе на любую из категорий, а последняя её часть в каждой категории различная /304642 , что логично. В этих категориях, как и в самом альбоме, страниц может быть несколько 304642?page=2, соответственно нужно прописывать {num}. Но так как последняя часть ссылки всегда разная я не понимаю, как это сделать. {key} Здесь тоже никак не применить.

    Или объясните тут или киньте в меня ссылкой на руководство. Так как программу только начал осваивать.
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Ваша задача решается с помощью сканера сайтов

    Ссылки недоступны для гостей

    Настройте фильтры очереди таким образом, чтобы сканер "ходил" только по нужной рубрике и по ее подрубрикам.
     
  3. alex380

    alex380 New Member Пользователи

    Регистрация:
    9 ноя 2019
    Сообщения:
    11
    Город:
    Прокопьевск
    Я так и настроил, как настроить пагинацию, если у каждой рубрике уникальный url
    Пример: рубрика с url collections/798808 у неё несколько страниц при переходе на которые подставляется ?page=2 и.т. У другой рубрики url collections/304642 тоже имеет несколько страниц, при переходе collections/304642?page=2 и.т. От сюда и вопрос, как настроить пагинацию?
     
    Последнее редактирование: 15 ноя 2019
  4. alex380

    alex380 New Member Пользователи

    Регистрация:
    9 ноя 2019
    Сообщения:
    11
    Город:
    Прокопьевск
    Проверил, дело тут не пагинации, сканер проходит по всем нужным ссылкам. Помогите настроить фильтр ссылок. Я выставил настройки следующим образом:
    стартовый url: Ссылки недоступны для гостей
    Фильтр верхнего окна: /collections/ (collections-это рубрики с которых должны собираться нужные ссылки, проверяю, сканер их благополучно обрабатывает)
    Теперь мне остаётся настроить выдачу ссылок, что я и делаю через фильтр ссылок.
    При переходе из рубрики на страницу донора ссылка выглядит так: /photos/2942273488/albums/75050251?uid=1&referrercate=2796467, забираю этот кусок (referrercate=) и вставляю его в фильтр ссылок, результата нет. Что я делаю не так?
     
  5. alex380

    alex380 New Member Пользователи

    Регистрация:
    9 ноя 2019
    Сообщения:
    11
    Город:
    Прокопьевск
    Разобрался, только сомневаюсь, что это самое правильное решение. Сначала спарсил все ссылки рубрик, потом их вставил в окно для парсинга и спарсил все товары (применив фильтр)
     
    kagorec и Root нравится это.

Поделиться этой страницей