Парсинг 2GIS

Здравствуйте.
Может у кого найдется готовый проект по парсингу 2ГИС и сможете им бесплатно поделиться?
Входными настройками должна быть ссылка на страницу в 2ГИС, например Ссылки недоступны для гостей
А на выходе нужно получить эксель табличку с данными компаний:

• Название компании
• Раздел
  
• Ссылка на страничку в 2ГИС
• Адреса с городом (у одной компании могут быть несколько адресов)
  
• График работы
• Телефоны
• e-mailы
• ссылки на сайты и соц странички
• ссылки на фотографии
• Если можно то Имена и тексты отзывов
• Если у компании есть рекламный текст то нужно спарсить и его (пример тут Ссылки недоступны для гостей "Первичная консультация бесплатно")
• Если у компании есть описание то спарсить и его (пример у той же компании что и выше Ссылки недоступны для гостей)

 

По входным настройкам можно сделать вводом не просто ссылки на раздел в 2ГИС, а уже для готового списка фирм, вроде как справился с парсингом, уже получаю вот такие странички Ссылки недоступны для гостей

 

Здравствуйте.

Лично у меня такого проекта нет.

В чем состоит у вас проблема в самостоятельной настройке? Если будут возникать вопросы при создании проекта, можете их задавать тут.

 

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

 

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

 

Есть ещё вариант: не усложнять себе жизнь и парсить то же самое с партнёра.
Сканер не пробовал, т.к. не было необходимости, но с генерацией работает нормально.
Думаю, остальные поля настраиваются элементарно.

{key} - поисковый запрос
{key2} - поддомен - т.е. город

 

Для облегчения задачи - список городов в аттаче.

 

Подскажите пожалуйста, а как вы получили список таких ссылок?

 

Откройте сканер сайта(CTRL+7), в правом нижнем углу есть Поиск-Замена(CTRL+3), там указано правило которое меняет вид ссылок.

 

А аналогичное для Яндекс Карты можно сделать?

 

к сожалению мне показалось что проще будет спарсить с 2гис, поэтому за яндекс карты не брался

 

А на сколько актуален вопрос с соксами под 2гис? какой интервал лучше ставить чтоб избежать бан? или 2гис не банит?

мне не особо часто приходилось раньше сталкиваться с API. Там выбранно в вашем проекте 63 ссылки на стоматологов. Вид урлов не оосбо мне понятен, как сменить категорию? город? Спасибо за готовый проект, Ваш совет значительно ускорил бы мне процесс понимания. Последний раз пользовался CD года 2 назад.

П.с. Если я правильно понял, то нужно просто везде заменять ID предварительно спарсив их.

 

Либо так


Либо так


Там ставите
{key} - поисковый запрос
{key2} - поддомен - т.е. город
И вот так


Как то так, на быструю набросал. дальше разберетесь.

 

интересная тема. У кого получилось парсить email по категориям?

 

мне, что то сложно разобраться

 

В чем именно? Могу продать всю базу 2гис с дополнительно собранными email адресами с официальных сайтов организаций или настроить парсер под заказ.

 

Update к моему предыдущему посту про 2gis:

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 10 постов.**

 

Если потребуется, можно сделать получение подобных данных в автоматическом режиме при парсинге.

 

Ребятки, нужно спарить строительные организации набережных челнов. Кто поможет?