Как собрать ссылки с разделов

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем weresa, 25 май 2018.

Метки:
  1. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Ссылки недоступны для гостей
     
  2. Limod

    Limod Member Пользователи

    Регистрация:
    14 июл 2018
    Сообщения:
    38
    с ссылки Ссылки недоступны для гостей собраем айди регионов . Получаем список.
    Ставим этот список на кнопку {key}, а в строке генерации шаблона ссылок пишем ссылку - Ссылки недоступны для гостей
    и задаем нужное количество страниц в {num}, допустим 100, и генерируем список.
    Настраиваем парсинг айди организаций (из такого куска "agencies":[{"agencyId":1526,"fullName":") и выгружаем их в файл.
    Наконец, используя айди организаций, генерируем ссылки на страницы этих организаций по шаблону Ссылки недоступны для гостей,
    где под {key} ставим полученный список айдишек
    Вот так я делал
     
    Root нравится это.
  3. Limod

    Limod Member Пользователи

    Регистрация:
    14 июл 2018
    Сообщения:
    38
    Подскажите как границу парсинга настроить при таком способе ? Я делал как: Открывал браузер с карточкой учреждения и в программе в коде искал то что мне нужно и задавал границу, но поиск не работает почему-то ( ctr+f) не ищет. Нужно самому все искать? или может я что-то ни так сделал?
     
  4. Limod

    Limod Member Пользователи

    Регистрация:
    14 июл 2018
    Сообщения:
    38
    Спасибо за ссылки, рассмотрю ваш вариант если через api не получится.
    Кто бы все таки разобрался как спарсить все учреждения.
     
  5. xLime

    xLime Well-Known Member Супер Модератор Модератор

    Регистрация:
    4 сен 2017
    Сообщения:
    401
    Не знаю в чем у вас проблема.
    [​IMG]
     
  6. Limod

    Limod Member Пользователи

    Регистрация:
    14 июл 2018
    Сообщения:
    38
    Да действительно, все работает. я просто начал с "Дата постановки на учет 22.01.2003" Ссылки недоступны для гостей почему-то не могу найти
     
  7. xLime

    xLime Well-Known Member Супер Модератор Модератор

    Регистрация:
    4 сен 2017
    Сообщения:
    401
    Проявите немного смекалки.

     
    Root нравится это.
  8. Limod

    Limod Member Пользователи

    Регистрация:
    14 июл 2018
    Сообщения:
    38
    Интересно, а как на автомате потом это все переводить в дату?)) Как сделать что бы в csv уже нормального формата зашел.
    Кстати насчет почему парсится 74 тысч , а не заявленные 165 тысч. там нумерация идет от 1050 до 2 500 000 ( это я примерно) . Имеется нумерация id учреждений. я вот думаю, а что если в {key} вставить от 1000 до 3 000 000 ( ну поняли 1000,1001,1002... 3 000 000) и пусть парсит все что есть? ))
    Ну по другому ни как не получается. Честно у же какой день с трудом засыпаю , стоит цель побороть этот сайт )
     

Поделиться этой страницей