Как собрать отзывы с Яндекс карт

Тема в разделе "Решения по парсингу популярных сайтов", создана пользователем heagar, 19 янв 2022.

  1. heagar

    heagar New Member Пользователи

    Регистрация:
    18 янв 2022
    Сообщения:
    3
    __________________________________________________________________________

    1. Внутри карточки любой организации Яндекс Карт, чтобы отзывы начали выводиться в html коде необходимо нажать на кнопку "Отзывы".

    upload_2022-1-19_22-31-20.png


    После чего выводится только 3 отзыва:

    upload_2022-1-19_22-41-15.png


    При прокручивания до конца третьего отзыва с помощью скролла мыши - начинают дополнительно догружаются ещё 47 отзывов. Что в сумме приводит к 50 отзывам.

    Далее после пролистывания с помощью скролла к концу полученных петидесяти отзывов - у конца страницы дополнительно запускается подгрузка ещё дополнительно +50 отзывов.


    ⇓ ⇓ ⇓
    ⇓ ⇓ ⇓
    ⇓ ⇓ ⇓


    Вопрос 1.
    Как сообщить Content Downloader'у, что при открытии карточки организации нужно нажать на отзывы? И после этого как сообщить, чтобы он листал в самый низ до тех пор, пока не получит всю выдачу?







    __________________________________________________________________________

    2. У слишком длинных отзывов Яндекс карты скрывают часть текста отзыва под кнопкой "ещё".

    upload_2022-1-19_23-0-28.png


    ⇓ ⇓ ⇓
    ⇓ ⇓ ⇓
    ⇓ ⇓ ⇓


    Вопрос 2.
    Как сообщить Content Downloader'у, чтобы он нажал на все кнопки "ещё", которые ему в данной выдаче встретились?
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Все клики и прокрутки делаются в WBAppCEF на Javascript

    Ссылки недоступны для гостей
     
    dimochkaorg нравится это.
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Настроил проект.

    Работает, как я увидел, идеально.

    Но нужно обновить программу до актуальной версии.
     

    Вложения:

    dimochkaorg и AlexandrSorokin нравится это.
  4. greee

    greee New Member Пользователи

    Регистрация:
    1 июл 2019
    Сообщения:
    7
    Город:
    RU
    Добрый день. Запускал с лицензии Ultimate. К сожалению, не сохраняет. Т.е. после работы парсера в папке нет файла. Можно как то сохранить? Спасибо.
     
  5. Vivisector

    Vivisector New Member Пользователи

    Регистрация:
    16 апр 2017
    Сообщения:
    3
    Спасибо, буду и я пробовать.
     
    Root нравится это.
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    В этом проекте границы парсинга не заданы.

    В нем настроена прогрузка всех комментариев с Яндекс карт. Раскрытие отзывов видно в WBAppCEF3 при предпросмотре результатов парсинга контента.

    Осталось только задать границы парсинга, как вам нужно.
     
  7. greee

    greee New Member Пользователи

    Регистрация:
    1 июл 2019
    Сообщения:
    7
    Город:
    RU
    могу обратиться за платной доработкой?
     
  8. dimochkaorg

    dimochkaorg Active Member Пользователи

    Регистрация:
    25 мар 2017
    Сообщения:
    204
    Замечательный проект, работает как часы. Если у вас будет пара минут вы не можете сказать, что вы определили
    Код:
    var bxpath = document.evaluate ("(//span[@itemprop='name'])[[INT1]]", document, null, XPathResult.FIRST_ORDERED_NODE_TYPE, null);
    DOMNODE = bxpath.singleNodeValue;
    
    вот здесь? Не понимаю принцип работы скрипта. Я конечно могу на фокусе бесконечно пейдждаунить через эмуляцию нажатия кноки на репите, но это так некрасиво. Очень хочется понять принцип. ))) Мне нужен скроллинг для этого, Ссылки недоступны для гостей скажите, что там надо определять в качестве ключевого элемента.
     

Поделиться этой страницей