Как собрать ссылки с разделов

Доброго дня всем.
Есть сайт Ссылки недоступны для гостей, с которого никак не получается собрать ссылки на организации конкретного региона. Бьюсь третий день, уже ум за разум заходит(((
Если задаю регион в верхнем поле, то выдается список полный, по всей стране.
Если через расширенный поиск, то выдаются по выбранному региону, но парсер "видит" только первую страницу, по ссылкам на 2,3 и т.д. страницы списка соскальзывает на первую.
Пыталась кукис брать из HTTPHeaderLive, настроив предварительно один регион - и все равно собираются организации все подряд.
Помогите, пожалуйста, расколдовать этот сайт? Или он вообще не парсибельный?

 

Добрый день.

Внимательно смотрите заголовки HTTP Headers.

ID Регионов:
Ссылки недоступны для гостей

API:
Ссылки недоступны для гостей

Обратите внимание на атрибуты:
p=1 - страницы
pageSize=10 - количество огранизаций на странице. Можно увеличить до 100 и более, в зависимости от производительности вашего компьютера.
regions=5277335 - ID региона

 

А ткните, куда API вставлять нужно? Это ведь не ссылка, с которой можно парсить...
С атрибутами я как только не мучилась, но сайт более 100 страниц не выдает (при любом количестве в разделе) и порция к выдаче на странице только 10/20/30, любое другое число автоматически превращается в 10 ссылок на страницу, короче, максимальное кол-во ссылок - 1000. Айди региона в ссылке почему-то не определяет, что будут выдаваться организации именно этого региона.

 

Вставлять как ссылку

Код:

http://bus.gov.ru/public-rest/api/agency/search/init?d-442831-p=2&orderAttributeName=rank&orderDirectionASC=false&pageSize=10&regionId=5277353&regions=5277353&searchTermCondition=or

Спойлер

Результатом обращения по вышеуказанному url - будет json, внутри которого ищете строки вида
"agencyId":1553,"fullName" - 1553 - это и есть id фирмы.
Собрав id и сформировав ссылки вида Ссылки недоступны для гостей id - получите ссылки на карточки фирм

 

Вот просто в браузере вижу код, вижу что там есть айди, которые нужно собрать. А в окне задания границ этот код не загружается(( Что не так делаю?

 

Спойлер

Как-то так.

 

Мои действия полностью идентичны. Но ...

 

Проверьте правильность настроек - может что-то поменяли

Спойлер

 

И правда ведь! У меня через WBApp парсилось до этого, сейчас убрала и все загрузилось) мерси громадное!

 

Добрый день!
Не хочется засорять форум одинаковыми темами. Вопрос по этому же сайту.
weresa спасибо огромное что все разъяснила как что и куда, но осталось 2 вопроса.
1) Как парсить без WBApp конечный результат Ссылки недоступны для гостей ? Не получается даже границу парсинга настроить, в нижнем окне (где браузер) при нажатие на нужные словосочетания ничего не подсвечивает. Ну и соответственно если настроить через WBApp границу парсинга, то без него парсит пустые ячейки.
2) Собирает всего 74521 компанию, хотя на сайте заявлено 164 431 учреждений . Как собрать все?
Помогите новичку)

 

Обратите внимание на сообщение #4

 

Я посмотрел еще раз этот пункт , но не увидел ответа на свой вопрос. Я этот этап прошел. я спарсил ID регионов и ID учреждений , все как нужно поставил и все как бы парсится ... Но!
1) Как парсить без WBApp конечный результат Ссылки недоступны для гостей ? Не получается даже границу парсинга настроить, в нижнем окне (где браузер) при нажатие на нужные словосочетания ничего не подсвечивает. Ну и соответственно если настроить через WBApp границу парсинга, то без него парсит пустые ячейки.
2) Собирает всего 74521 компанию, хотя на сайте заявлено 164 431 учреждений . Как собрать все?

 

1) Ссылки недоступны для гостей - на этой странице никаких данных в браузере не вижу (пусто)
2) Ссылки недоступны для гостей

 

Ссылки недоступны для гостей вот ссылка на учреждение в "Полной информации об учреждении"

 

2) Ссылки недоступны для гостей[/QUOTE]
а зачем сканер сайтов? Мы подставляем значения id в шаблон границы списка ссылок Ссылки недоступны для гостей , перед этим собрав все id учреждений и добавив их в {key}

 

Используйте API.

Спойлер: img

Ссылки недоступны для гостей

 

в таком виде парсить? Ссылки недоступны для гостей
а, как быть с тем что не находит все учреждения? Собирает всего 74521 учреждений, хотя на сайте заявлено 164 431 учреждений . Как собрать все?

 

Подскажите, когда открываю настроить границу парсинга , то постоянно появляется такие окна с этим нужно что-то делать? или просто закрыть и все?

Спойлер: img

 

Вы не дали информацию, как собираете ссылки. Вот и предположил.

 

Не знаю, не изучал этот сайт