Различное кол-во page={num} в зависимости от {key}

Есть многотысячный ресурс, где в парсинге ссылок используется порядка 500 {key} и для каждого я беру page={num} равный 40 (10 000 записей максимум отдает сайт по 250 на странице). Проблема в том, что для какого-то кея нужно num=40, а для какого-то num=1. И очень много времени теряется впустую. Как сделать так, чтобы для одного кея при получении пустой страницы при {num} допустим 22, он переходил не к 23 (т.к. понятно что 23, 24, ..., 40 будут отданы пустые страницы), а к следующему кею и num=1?


Спасибо за ответы!

 

Здравствуйте.

Для решения такой задачи используйте сканер сайтов