Парсинг 2GIS

Тема в разделе "Решения по парсингу популярных сайтов", создана пользователем webstep, 13 дек 2020.

  1. webstep

    webstep Member Пользователи

    Регистрация:
    6 дек 2020
    Сообщения:
    129
    Город:
    Kiev
    Всем привет.

    С заголовка темы понятно, что даже при передаче заголовков и кукис не происходит правильный сбор ссылок, а именно , переход на любую страницу выше 7 невозможен с сылки.

    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
    То есть 8 и выше страницы даже с браузера открыть нельзя. Только переходом по кнопках на сайте.

    Вопрос, как собрать ссылки со всех 90 страниц ?
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Прокликивать страницы с помощью WBAppCEF

    Ссылки недоступны для гостей
     
  3. webstep

    webstep Member Пользователи

    Регистрация:
    6 дек 2020
    Сообщения:
    129
    Город:
    Kiev

    Пересмотрел видео, но так и не смогу xPath нужный подобрать для следующей страницы :(
    upload_2020-12-13_11-34-13.png
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Проект.
     

    Вложения:

  6. webstep

    webstep Member Пользователи

    Регистрация:
    6 дек 2020
    Сообщения:
    129
    Город:
    Kiev
    Круто. Работает. Спасибо большое!
    Теперь нужно разобраться во всей цепочке)
     
    Root нравится это.
  7. Cijabatta

    Cijabatta New Member Пользователи

    Регистрация:
    6 фев 2018
    Сообщения:
    1
    Здравствуйте! К сожалению на сегодняшнюю дату проект не сработал. Не собираются ссылки более, чем с 5 страниц.
     
  8. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    867
    Добрый день
    Есть готовый проект по парсингу 2Gis - обращайтесь, контакты в подписи
     
  9. bek

    bek Member Пользователи

    Регистрация:
    22 фев 2017
    Сообщения:
    28
    Город:
    Краснодар
    У кого есть последний проект по 2gis
     
  10. kenny872012

    kenny872012 Well-Known Member Пользователи

    Регистрация:
    18 фев 2018
    Сообщения:
    312
    У меня есть парсер 2 гис. Работает через api, прокси не требуются, платный api ключ не требуется, скорость парсинга 50 организаций в секунду. Лицензия на 1 рабочее место 5000р. Пишите, обсудим если интересно.
     
  11. bek

    bek Member Пользователи

    Регистрация:
    22 фев 2017
    Сообщения:
    28
    Город:
    Краснодар
    Спасибо! таких объемов не нужно
     
  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    2GIS мне "пригрозил".

    Так что
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
    bek нравится это.
  13. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    867
    Root нравится это.
  14. bek

    bek Member Пользователи

    Регистрация:
    22 фев 2017
    Сообщения:
    28
    Город:
    Краснодар
    "Millennium Falcon" решил проблему!!!
    Спасибо!
     
  15. hausedar

    hausedar New Member Пользователи

    Регистрация:
    23 июн 2023
    Сообщения:
    1
    Очень полезное видео, автору спасибо.
     
  16. SequelONE

    SequelONE New Member Пользователи

    Регистрация:
    27 апр 2017
    Сообщения:
    63
    Удалось запустить парсер ссылок, ходит по всем страничкам, но ссылки почему-то собирает только с первой. В чём может быть проблема? Я наверное какие-то классы в скриптах заменил неправильными. У 2gis некоторые классы поменялись.
     
  17. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    867
    Есть готовый парсер 2GIS, не зависящий от верстки сайта.
    Могу провести сбор данных
    Обращайтесь Ссылки недоступны для гостей
     
  18. SequelONE

    SequelONE New Member Пользователи

    Регистрация:
    27 апр 2017
    Сообщения:
    63
    Я уже сам все пофиксил и ссылки собираются как и ожидалось. Пока парсер контента не запускал, наверное прийдется его докрутить. Самому как программисту интересно разобраться в этом.
     

Поделиться этой страницей