Парсинг 2GIS

Тема в разделе "Парсинг конкретных сайтов (ПЛАТНО)", создана пользователем Sergey87, 9 фев 2018.

  1. Sergey87

    Sergey87 New Member Пользователи

    Регистрация:
    7 фев 2018
    Сообщения:
    4
    Город:
    Краснодар
    Здравствуйте.
    Может у кого найдется готовый проект по парсингу 2ГИС и сможете им бесплатно поделиться?
    Входными настройками должна быть ссылка на страницу в 2ГИС, например Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!
    А на выходе нужно получить эксель табличку с данными компаний:
    • Название компании
    • Раздел
    • Ссылка на страничку в 2ГИС
    • Адреса с городом (у одной компании могут быть несколько адресов)
    • График работы
    • Телефоны
    • e-mailы
    • ссылки на сайты и соц странички
    • ссылки на фотографии
    • Если можно то Имена и тексты отзывов
    • Если у компании есть рекламный текст то нужно спарсить и его (пример тут Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме! "Первичная консультация бесплатно")
    • Если у компании есть описание то спарсить и его (пример у той же компании что и выше Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме! )
     
  2. Sergey87

    Sergey87 New Member Пользователи

    Регистрация:
    7 фев 2018
    Сообщения:
    4
    Город:
    Краснодар
    По входным настройкам можно сделать вводом не просто ссылки на раздел в 2ГИС, а уже для готового списка фирм, вроде как справился с парсингом, уже получаю вот такие странички Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!
     
  3. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    9.641
    Город:
    Сочи
    Здравствуйте.

    Лично у меня такого проекта нет.

    В чем состоит у вас проблема в самостоятельной настройке? Если будут возникать вопросы при создании проекта, можете их задавать тут.
     
    Sergey87 нравится это.
  4. napserious

    napserious Well-Known Member Пользователи Активирован

    Регистрация:
    16 окт 2015
    Сообщения:
    314
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     

    Вложения:

    • 2GIS.cdp
      Размер файла:
      70,1 КБ
      Просмотров:
      36
    Последнее редактирование: 9 фев 2018
    malina, koleso62, gans и 2 другим нравится это.
  5. napserious

    napserious Well-Known Member Пользователи Активирован

    Регистрация:
    16 окт 2015
    Сообщения:
    314
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
    Последнее редактирование: 9 фев 2018
    malina, OlegaS, koleso62 и 2 другим нравится это.
  6. gans

    gans Well-Known Member Пользователи

    Регистрация:
    21 апр 2014
    Сообщения:
    268
    Есть ещё вариант: не усложнять себе жизнь и парсить то же самое с партнёра. :)
    Сканер не пробовал, т.к. не было необходимости, но с генерацией работает нормально.
    Думаю, остальные поля настраиваются элементарно.

    {key} - поисковый запрос
    {key2} - поддомен - т.е. город
     

    Вложения:

    • orgdir_ru.cdp
      Размер файла:
      842,3 КБ
      Просмотров:
      26
    Последнее редактирование: 10 фев 2018
    Sergey87, napserious и Root нравится это.
  7. gans

    gans Well-Known Member Пользователи

    Регистрация:
    21 апр 2014
    Сообщения:
    268
    Для облегчения задачи - список городов в аттаче.
     

    Вложения:

    Sergey87, napserious и Root нравится это.
  8. koleso62

    koleso62 New Member Пользователи

    Регистрация:
    28 янв 2013
    Сообщения:
    29
    Подскажите пожалуйста, а как вы получили список таких ссылок?
     
  9. napserious

    napserious Well-Known Member Пользователи Активирован

    Регистрация:
    16 окт 2015
    Сообщения:
    314
    Откройте сканер сайта(CTRL+7), в правом нижнем углу есть Поиск-Замена(CTRL+3), там указано правило которое меняет вид ссылок.
     
    Root нравится это.
  10. OlegaS

    OlegaS New Member Пользователи

    Регистрация:
    30 апр 2018
    Сообщения:
    1
    А аналогичное для Яндекс Карты можно сделать?
     
  11. Sergey87

    Sergey87 New Member Пользователи

    Регистрация:
    7 фев 2018
    Сообщения:
    4
    Город:
    Краснодар
    к сожалению мне показалось что проще будет спарсить с 2гис, поэтому за яндекс карты не брался
     
  12. malina

    malina New Member Пользователи

    Регистрация:
    1 авг 2018
    Сообщения:
    1
    А на сколько актуален вопрос с соксами под 2гис? какой интервал лучше ставить чтоб избежать бан? или 2гис не банит?

    мне не особо часто приходилось раньше сталкиваться с API. Там выбранно в вашем проекте 63 ссылки на стоматологов. Вид урлов не оосбо мне понятен, как сменить категорию? город? Спасибо за готовый проект, Ваш совет значительно ускорил бы мне процесс понимания. Последний раз пользовался CD года 2 назад.

    П.с. Если я правильно понял, то нужно просто везде заменять ID предварительно спарсив их.
     
    Последнее редактирование: 1 авг 2018
    napserious нравится это.
  13. Japonec

    Japonec Active Member Пользователи

    Регистрация:
    19 июл 2015
    Сообщения:
    83
    Адрес:
    Kiev
    Либо так
    upload_2018-8-2_21-0-6.png

    Либо так
    upload_2018-8-2_21-0-49.png

    Там ставите
    {key} - поисковый запрос
    {key2} - поддомен - т.е. город
    И вот так
    upload_2018-8-2_21-2-0.png

    Как то так, на быструю набросал. дальше разберетесь.
     
    napserious, malina, inotoxic и ещё 1-му нравится это.

Поделиться этой страницей