Как собрать ссылки с разделов

Ссылки недоступны для гостей

 

с ссылки Ссылки недоступны для гостей собраем айди регионов . Получаем список.
Ставим этот список на кнопку {key}, а в строке генерации шаблона ссылок пишем ссылку - Ссылки недоступны для гостей
и задаем нужное количество страниц в {num}, допустим 100, и генерируем список.
Настраиваем парсинг айди организаций (из такого куска "agencies":[{"agencyId":1526,"fullName":") и выгружаем их в файл.
Наконец, используя айди организаций, генерируем ссылки на страницы этих организаций по шаблону Ссылки недоступны для гостей,
где под {key} ставим полученный список айдишек
Вот так я делал

 

Подскажите как границу парсинга настроить при таком способе ? Я делал как: Открывал браузер с карточкой учреждения и в программе в коде искал то что мне нужно и задавал границу, но поиск не работает почему-то ( ctr+f) не ищет. Нужно самому все искать? или может я что-то ни так сделал?

 

Спасибо за ссылки, рассмотрю ваш вариант если через api не получится.
Кто бы все таки разобрался как спарсить все учреждения.

 

Не знаю в чем у вас проблема.

Spoiler: img

 

Да действительно, все работает. я просто начал с "Дата постановки на учет 22.01.2003" Ссылки недоступны для гостей почему-то не могу найти

 

Проявите немного смекалки.

 

Интересно, а как на автомате потом это все переводить в дату?)) Как сделать что бы в csv уже нормального формата зашел.
Кстати насчет почему парсится 74 тысч , а не заявленные 165 тысч. там нумерация идет от 1050 до 2 500 000 ( это я примерно) . Имеется нумерация id учреждений. я вот думаю, а что если в {key} вставить от 1000 до 3 000 000 ( ну поняли 1000,1001,1002... 3 000 000) и пусть парсит все что есть? ))
Ну по другому ни как не получается. Честно у же какой день с трудом засыпаю , стоит цель побороть этот сайт )