Создание массива сссылок с помощью автогенерации

Тема в разделе "Решение различных задач по парсингу", создана пользователем dimochkaorg, 18 апр 2023.

  1. dimochkaorg

    dimochkaorg Active Member Пользователи

    Регистрация:
    25 мар 2017
    Сообщения:
    204
    Гении парсинга, к вам я опять с вопросом взываю.
    Сайт есть один, и на нем много ссылок прекрасных
    Все чин по чину, разбито по разным страницам
    Только число страниц этих, разным все время бывает )))

    Короче, я могу спарсить номер пейджа последней страницы, но как мне загенерить массив ссылок с кеем, равным числу этому автоматом. Проходиться по всем страницам во вкладке ссылки занимает время, уж очень их много, да и зачем если знаешь точно, сколько их.
     
    Последнее редактирование: 18 апр 2023
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    В сканере стартовую указываете первую страницу пагинации.
    Фильтр списка очереди указываете ссылку пагинации БЕЗ номера который меняется.
     
    dimochkaorg нравится это.
  3. dimochkaorg

    dimochkaorg Active Member Пользователи

    Регистрация:
    25 мар 2017
    Сообщения:
    204
    точно, через сканнер решить... настраиваем быстрый обход со всеми фильтрами добавления в очереди и прочее и все займет не больше пары минут. СПАСИБО!!!

    Добрый kagorec явил мне истины чудо
    Сканер использовать, это ль не ум изощреный?
    Слава Богам и всем тем, кто сидит на Олимпе
    Сайту - конец! 90 потоков поставил ))))
     

Поделиться этой страницей