Различное кол-во page={num} в зависимости от {key}

Тема в разделе "Парсинг во вкладке "Ссылки"", создана пользователем Xpite, 11 авг 2017.

Метки:
  1. Xpite

    Xpite New Member Пользователи

    Регистрация:
    13 мар 2017
    Сообщения:
    13
    Есть многотысячный ресурс, где в парсинге ссылок используется порядка 500 {key} и для каждого я беру page={num} равный 40 (10 000 записей максимум отдает сайт по 250 на странице). Проблема в том, что для какого-то кея нужно num=40, а для какого-то num=1. И очень много времени теряется впустую. Как сделать так, чтобы для одного кея при получении пустой страницы при {num} допустим 22, он переходил не к 23 (т.к. понятно что 23, 24, ..., 40 будут отданы пустые страницы), а к следующему кею и num=1?


    Спасибо за ответы!
     
    Последнее редактирование: 11 авг 2017
  2. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    8.112
    Адрес:
    sbfroot@gmail.com
    Город:
    Краснодар
    Здравствуйте.

    Для решения такой задачи используйте сканер сайтов
     

Поделиться этой страницей