Как собрать ссылки с разделов

Discussion in 'Парсинг конкретных сайтов по запросу (ПЛАТНО)' started by weresa, May 25, 2018.

  1. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Ссылки недоступны для гостей
     
  2. Limod

    Limod Member Пользователи

    Joined:
    Jul 14, 2018
    Messages:
    38
    с ссылки Ссылки недоступны для гостей собраем айди регионов . Получаем список.
    Ставим этот список на кнопку {key}, а в строке генерации шаблона ссылок пишем ссылку - Ссылки недоступны для гостей
    и задаем нужное количество страниц в {num}, допустим 100, и генерируем список.
    Настраиваем парсинг айди организаций (из такого куска "agencies":[{"agencyId":1526,"fullName":") и выгружаем их в файл.
    Наконец, используя айди организаций, генерируем ссылки на страницы этих организаций по шаблону Ссылки недоступны для гостей,
    где под {key} ставим полученный список айдишек
    Вот так я делал
     
    Root likes this.
  3. Limod

    Limod Member Пользователи

    Joined:
    Jul 14, 2018
    Messages:
    38
    Подскажите как границу парсинга настроить при таком способе ? Я делал как: Открывал браузер с карточкой учреждения и в программе в коде искал то что мне нужно и задавал границу, но поиск не работает почему-то ( ctr+f) не ищет. Нужно самому все искать? или может я что-то ни так сделал?
     
  4. Limod

    Limod Member Пользователи

    Joined:
    Jul 14, 2018
    Messages:
    38
    Спасибо за ссылки, рассмотрю ваш вариант если через api не получится.
    Кто бы все таки разобрался как спарсить все учреждения.
     
  5. xLime

    xLime Well-Known Member Супер Модератор Модератор

    Joined:
    Sep 4, 2017
    Messages:
    407
    Не знаю в чем у вас проблема.
    [​IMG]
     
  6. Limod

    Limod Member Пользователи

    Joined:
    Jul 14, 2018
    Messages:
    38
    Да действительно, все работает. я просто начал с "Дата постановки на учет 22.01.2003" Ссылки недоступны для гостей почему-то не могу найти
     
  7. xLime

    xLime Well-Known Member Супер Модератор Модератор

    Joined:
    Sep 4, 2017
    Messages:
    407
    Проявите немного смекалки.

     
    Root likes this.
  8. Limod

    Limod Member Пользователи

    Joined:
    Jul 14, 2018
    Messages:
    38
    Интересно, а как на автомате потом это все переводить в дату?)) Как сделать что бы в csv уже нормального формата зашел.
    Кстати насчет почему парсится 74 тысч , а не заявленные 165 тысч. там нумерация идет от 1050 до 2 500 000 ( это я примерно) . Имеется нумерация id учреждений. я вот думаю, а что если в {key} вставить от 1000 до 3 000 000 ( ну поняли 1000,1001,1002... 3 000 000) и пусть парсит все что есть? ))
    Ну по другому ни как не получается. Честно у же какой день с трудом засыпаю , стоит цель побороть этот сайт )
     

Share This Page