сбор ссылок с як

Здравствуйте надо собрать ссылки с як по категориям

Беру например рубрику Hi-Tech


В низу страницы смотрю в навигацию там максимум 100 страниц отображает, по идее если 5551 сайтов есть, должно быть не меньше 500 страниц

Если в строке браузера написать в конце .......500.html выдает ошибку "Подождите, пожалуйста. Тут надо серьезно подумать..."
Где то эти сайты должны хранится, а по под рубрикам долго сохранять


Пробую еще сканером сайтов, но там свои нюансы

 

В 4 пункте на скрине у меня стояло .html Ваш вариант стал сканировать первую страницу спасибо

Но все таки один нюанс остался


Дальше 99 страницы не идет, я понимаю что так и должно быть так как на сайте всего 100 страниц, но может кто то знает где яндекс прячет остальные страницы