1. webstep

    webstep Member Пользователи

    Joined:
    Dec 6, 2020
    Messages:
    129
    Город:
    Kiev
    Всем привет.

    С заголовка темы понятно, что даже при передаче заголовков и кукис не происходит правильный сбор ссылок, а именно , переход на любую страницу выше 7 невозможен с сылки.

    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
    То есть 8 и выше страницы даже с браузера открыть нельзя. Только переходом по кнопках на сайте.

    Вопрос, как собрать ссылки со всех 90 страниц ?
     
  2. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Здравствуйте.

    Прокликивать страницы с помощью WBAppCEF

    Ссылки недоступны для гостей
     
  3. webstep

    webstep Member Пользователи

    Joined:
    Dec 6, 2020
    Messages:
    129
    Город:
    Kiev

    Пересмотрел видео, но так и не смогу xPath нужный подобрать для следующей страницы :(
    upload_2020-12-13_11-34-13.png
     
  4. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
  5. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Проект.
     

    Attached Files:

  6. webstep

    webstep Member Пользователи

    Joined:
    Dec 6, 2020
    Messages:
    129
    Город:
    Kiev
    Круто. Работает. Спасибо большое!
    Теперь нужно разобраться во всей цепочке)
     
    Root likes this.
  7. Cijabatta

    Cijabatta New Member Пользователи

    Joined:
    Feb 6, 2018
    Messages:
    1
    Здравствуйте! К сожалению на сегодняшнюю дату проект не сработал. Не собираются ссылки более, чем с 5 страниц.
     
  8. inotoxic

    inotoxic Well-Known Member Пользователи

    Joined:
    Sep 13, 2015
    Messages:
    874
    Добрый день
    Есть готовый проект по парсингу 2Gis - обращайтесь, контакты в подписи
     
  9. bek

    bek Member Пользователи

    Joined:
    Feb 22, 2017
    Messages:
    29
    Город:
    Краснодар
    У кого есть последний проект по 2gis
     
  10. kenny872012

    kenny872012 Well-Known Member Пользователи

    Joined:
    Feb 18, 2018
    Messages:
    324
    У меня есть парсер 2 гис. Работает через api, прокси не требуются, платный api ключ не требуется, скорость парсинга 50 организаций в секунду. Лицензия на 1 рабочее место 5000р. Пишите, обсудим если интересно.
     
  11. bek

    bek Member Пользователи

    Joined:
    Feb 22, 2017
    Messages:
    29
    Город:
    Краснодар
    Спасибо! таких объемов не нужно
     
  12. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    2GIS мне "пригрозил".

    Так что
    Hidden Content:
    **Hidden Content: To see this hidden content your post count must be 1 or greater.**
     
    bek likes this.
  13. inotoxic

    inotoxic Well-Known Member Пользователи

    Joined:
    Sep 13, 2015
    Messages:
    874
    Root likes this.
  14. bek

    bek Member Пользователи

    Joined:
    Feb 22, 2017
    Messages:
    29
    Город:
    Краснодар
    "Millennium Falcon" решил проблему!!!
    Спасибо!
     
  15. hausedar

    hausedar New Member Пользователи

    Joined:
    Jun 23, 2023
    Messages:
    1
    Очень полезное видео, автору спасибо.
     
  16. SequelONE

    SequelONE New Member Пользователи

    Joined:
    Apr 27, 2017
    Messages:
    63
    Удалось запустить парсер ссылок, ходит по всем страничкам, но ссылки почему-то собирает только с первой. В чём может быть проблема? Я наверное какие-то классы в скриптах заменил неправильными. У 2gis некоторые классы поменялись.
     
  17. inotoxic

    inotoxic Well-Known Member Пользователи

    Joined:
    Sep 13, 2015
    Messages:
    874
    Есть готовый парсер 2GIS, не зависящий от верстки сайта.
    Могу провести сбор данных
    Обращайтесь Ссылки недоступны для гостей
     
  18. SequelONE

    SequelONE New Member Пользователи

    Joined:
    Apr 27, 2017
    Messages:
    63
    Я уже сам все пофиксил и ссылки собираются как и ожидалось. Пока парсер контента не запускал, наверное прийдется его докрутить. Самому как программисту интересно разобраться в этом.
     

Share This Page