Проблема с парсингом ссылок

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем IvanStrashko, 12 ноя 2018.

  1. IvanStrashko

    IvanStrashko Member Пользователи

    Регистрация:
    11 май 2018
    Сообщения:
    51
    Город:
    Москва
    Добрый день, настроил по видео парсинг ссылок
    но парсит только 2, 3, 4 страницы и последнюю 31
    они просто видны, а вот первую и внутренние не парсит((
    Ссылки недоступны для гостей

    вот что получается у меня в парсере Ссылки недоступны для гостей

    помогите пожалуйста решить проблему
    проект приложил.
     

    Вложения:

  2. gans

    gans Well-Known Member Пользователи

    Регистрация:
    21 апр 2014
    Сообщения:
    309
    Добрый! Немного неправильно делаете. Вместо сканера сайта используйте вкладку Ссылки. В шаблон генерации ссылок вставьте это и соберите ссылки:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Диапазон значений {num} 1-31.
     
    Root нравится это.
  3. IvanStrashko

    IvanStrashko Member Пользователи

    Регистрация:
    11 май 2018
    Сообщения:
    51
    Город:
    Москва
    да так тоже можно, но в видео было показано что можно собирать ссылки сканером
    дело в том что у меня несколько запросов
    к примеру : рисование, шитье, хобби
    так вот рисование - 31 страница, шитье - 20 страниц, хобби - 23 страницы
    а есть запросы которые содержат 100 страниц
    и если я поставлю диапазон значений {num} 1-100
    то другие запросы будут генерить пустые ссылки(((
    как это обойти? подскажите пожалуйста
     
  4. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    сделайте генератором ссылок на каждую категорию, в чем сложность? и не надо ставить 1-100 поставьте для рисования конкретно 33 страницы.
     
  5. IvanStrashko

    IvanStrashko Member Пользователи

    Регистрация:
    11 май 2018
    Сообщения:
    51
    Город:
    Москва
    Да это не сложно, просто категорий у меня около 50. И в категориях по разному выдает страниц. В одной категории 7, а в другой 97. А каждую категорию проверять, времени столько нет, чтоб все вручную проверять.
     
  6. gans

    gans Well-Known Member Пользователи

    Регистрация:
    21 апр 2014
    Сообщения:
    309
    5000 страниц - не так уж много. Почему бы не поставить в {num} максимальное количество страниц(100) для каждой категории? Да, займёт больше времени, но вам не нужно в это время следить за сбором.
     
    Root нравится это.

Поделиться этой страницей