Парсинг 2GIS

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем Sergey87, 9 фев 2018.

  1. Sergey87

    Sergey87 New Member Пользователи

    Регистрация:
    7 фев 2018
    Сообщения:
    4
    Город:
    Краснодар
    Здравствуйте.
    Может у кого найдется готовый проект по парсингу 2ГИС и сможете им бесплатно поделиться?
    Входными настройками должна быть ссылка на страницу в 2ГИС, например Ссылки недоступны для гостей
    А на выходе нужно получить эксель табличку с данными компаний:
    • Название компании
    • Раздел
    • Ссылка на страничку в 2ГИС
    • Адреса с городом (у одной компании могут быть несколько адресов)
    • График работы
    • Телефоны
    • e-mailы
    • ссылки на сайты и соц странички
    • ссылки на фотографии
    • Если можно то Имена и тексты отзывов
    • Если у компании есть рекламный текст то нужно спарсить и его (пример тут Ссылки недоступны для гостей "Первичная консультация бесплатно")
    • Если у компании есть описание то спарсить и его (пример у той же компании что и выше Ссылки недоступны для гостей)
     
  2. Sergey87

    Sergey87 New Member Пользователи

    Регистрация:
    7 фев 2018
    Сообщения:
    4
    Город:
    Краснодар
    По входным настройкам можно сделать вводом не просто ссылки на раздел в 2ГИС, а уже для готового списка фирм, вроде как справился с парсингом, уже получаю вот такие странички Ссылки недоступны для гостей
     
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Лично у меня такого проекта нет.

    В чем состоит у вас проблема в самостоятельной настройке? Если будут возникать вопросы при создании проекта, можете их задавать тут.
     
    Sergey87 нравится это.
  4. napserious

    napserious Well-Known Member Пользователи Активирован

    Регистрация:
    16 окт 2015
    Сообщения:
    324
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     

    Вложения:

    • 2GIS.cdp
      Размер файла:
      70,1 КБ
      Просмотров:
      153
    Последнее редактирование: 9 фев 2018
    UpHill, Ogenrix, malina и 4 другим нравится это.
  5. napserious

    napserious Well-Known Member Пользователи Активирован

    Регистрация:
    16 окт 2015
    Сообщения:
    324
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
    Последнее редактирование: 9 фев 2018
    AlexPestov, VictorKop, Ogenrix и 5 другим нравится это.
  6. gans

    gans Well-Known Member Пользователи

    Регистрация:
    21 апр 2014
    Сообщения:
    309
    Есть ещё вариант: не усложнять себе жизнь и парсить то же самое с партнёра. :)
    Сканер не пробовал, т.к. не было необходимости, но с генерацией работает нормально.
    Думаю, остальные поля настраиваются элементарно.

    {key} - поисковый запрос
    {key2} - поддомен - т.е. город
     

    Вложения:

    • orgdir_ru.cdp
      Размер файла:
      842,3 КБ
      Просмотров:
      93
    Последнее редактирование: 10 фев 2018
    Love-world, Ogenrix, Sergey87 и 2 другим нравится это.
  7. gans

    gans Well-Known Member Пользователи

    Регистрация:
    21 апр 2014
    Сообщения:
    309
    Для облегчения задачи - список городов в аттаче.
     

    Вложения:

    Love-world, Ogenrix, Sergey87 и 2 другим нравится это.
  8. koleso62

    koleso62 New Member Пользователи

    Регистрация:
    28 янв 2013
    Сообщения:
    29
    Подскажите пожалуйста, а как вы получили список таких ссылок?
     
  9. napserious

    napserious Well-Known Member Пользователи Активирован

    Регистрация:
    16 окт 2015
    Сообщения:
    324
    Откройте сканер сайта(CTRL+7), в правом нижнем углу есть Поиск-Замена(CTRL+3), там указано правило которое меняет вид ссылок.
     
    Root нравится это.
  10. OlegaS

    OlegaS New Member Пользователи

    Регистрация:
    30 апр 2018
    Сообщения:
    1
    А аналогичное для Яндекс Карты можно сделать?
     
  11. Sergey87

    Sergey87 New Member Пользователи

    Регистрация:
    7 фев 2018
    Сообщения:
    4
    Город:
    Краснодар
    к сожалению мне показалось что проще будет спарсить с 2гис, поэтому за яндекс карты не брался
     
  12. malina

    malina New Member Пользователи

    Регистрация:
    1 авг 2018
    Сообщения:
    1
    А на сколько актуален вопрос с соксами под 2гис? какой интервал лучше ставить чтоб избежать бан? или 2гис не банит?

    мне не особо часто приходилось раньше сталкиваться с API. Там выбранно в вашем проекте 63 ссылки на стоматологов. Вид урлов не оосбо мне понятен, как сменить категорию? город? Спасибо за готовый проект, Ваш совет значительно ускорил бы мне процесс понимания. Последний раз пользовался CD года 2 назад.

    П.с. Если я правильно понял, то нужно просто везде заменять ID предварительно спарсив их.
     
    Последнее редактирование: 1 авг 2018
    napserious нравится это.
  13. Japonec

    Japonec Well-Known Member Пользователи

    Регистрация:
    19 июл 2015
    Сообщения:
    92
    Адрес:
    Kiev
    Либо так
    upload_2018-8-2_21-0-6.png

    Либо так
    upload_2018-8-2_21-0-49.png

    Там ставите
    {key} - поисковый запрос
    {key2} - поддомен - т.е. город
    И вот так
    upload_2018-8-2_21-2-0.png

    Как то так, на быструю набросал. дальше разберетесь.
     
    Ogenrix, napserious, malina и 2 другим нравится это.
  14. pixelgrant

    pixelgrant New Member Пользователи

    Регистрация:
    12 июн 2019
    Сообщения:
    1
    Город:
    Москва
    интересная тема. У кого получилось парсить email по категориям?
     
  15. UpHill

    UpHill New Member Пользователи

    Регистрация:
    31 мар 2019
    Сообщения:
    16
    Адрес:
    Moscow
    Город:
    Moscow
    мне, что то сложно разобраться
     
  16. kenny872012

    kenny872012 Well-Known Member Пользователи

    Регистрация:
    18 фев 2018
    Сообщения:
    312
    В чем именно? Могу продать всю базу 2гис с дополнительно собранными email адресами с официальных сайтов организаций или настроить парсер под заказ.
     
  17. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    Парсинг 2gis несложный.
    Обращайтесь, настрою вам парсер для сбора актуальной информации!
     
    Root нравится это.
  18. napserious

    napserious Well-Known Member Пользователи Активирован

    Регистрация:
    16 окт 2015
    Сообщения:
    324
    Update к моему предыдущему посту про 2gis:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 10 постов.**
     
    Moxtima, UpHill, Root и 2 другим нравится это.
  19. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Если потребуется, можно сделать получение подобных данных в автоматическом режиме при парсинге.
     
    Limod, gans и UpHill нравится это.
  20. d0ublezer0

    d0ublezer0 Member Пользователи

    Регистрация:
    30 ноя 2016
    Сообщения:
    57
    Ребятки, нужно спарить строительные организации набережных челнов. Кто поможет?
     

Поделиться этой страницей