Парсинг запросов из Яндекс.Вебмаст

Тема в разделе "Решение различных задач по парсингу", создана пользователем Yaroslav, 9 дек 2021.

  1. Yaroslav

    Yaroslav New Member Пользователи

    Регистрация:
    7 ноя 2020
    Сообщения:
    6
    Приветствую, уважаемые знатоки. Столкнулся с тем, что не могу самостоятельно настроить парсинг необходимых данных с Яндекс Вебмастер. Если совсем конкретно, то в вебмастере есть такой раздел как "Поисковые запросы"

    [​IMG]

    Беда в том, что Яндекс не дает выгрузить эти запросы вовсе, а с привязкой к конкретному УРЛу и подавно. Мне удалось загрузить список УРЛ, по которым есть соответствующие запросы. Но для того чтобы получить данный перечень запросов, нужно применить фильтр и только после этого мы можем увидеть запросы, которые касаются конкретных УРЛов.

    [​IMG]

    Кроме этого перечень запросов делится на страницы

    [​IMG]

    Через Firefox я попытался отследить формирование ссылки при нажатии на кнопку "Фильтровать", но у Яндекса там очень хитро все утроено и спарсить ссылки с помощью key мне не удалось.

    Уважаемые коллеги, прошу подсобить советом. Возможно кто-то уже решал подобные задачи
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Вот файл проекта.

    Вывод запросов настроил в CSV (в TXT, если нужно, нет проблем переделать).

    2021-12-09_19-53-00.png
     

    Вложения:

  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Загрузите файл проекта (Ctrl+o в программе)

    Автоматическую авторизацию настраивать здесь не стал.

    Сначала вставьте адрес вашего сайта так

    2021-12-09_19-54-29.png

    Откройте WBAppCEF, как показано на скриншоте

    2021-12-09_19-53-49.png

    В открывшемся браузере залогиньтесь в Яндексе и просто закройте браузер.

    Теперь можно парсить во вкладке "Контент".

    PS: Версия программы должна быть актуальная!
     
  4. Yaroslav

    Yaroslav New Member Пользователи

    Регистрация:
    7 ноя 2020
    Сообщения:
    6
    Благодарю за проект. Но тут происходит парсинг всех запросов, без учета УРЛов. Для этой задачи есть простенький YaWebKeyParser. Он делает эту задачу за буквально за пару минут. Я имел в виду что не могу настроить парсинг запросов с учетом фильтров.

    [​IMG]

    Если сначала спарсить URL, мы будем иметь перечень страниц, по которым есть запросы. А далее подставляя эти УРЛ в фильтр мы видим запросы по конкретным страницам. Т.е. я имел в виду такую настройку проекта, при которой программа подставляет нужный УРЛ в фильтр и загружает запросы с указанием к какому УРЛу они относятся

    [​IMG]
     
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Должно работать.

    2021-12-09_22-37-40.png
     

    Вложения:

    Yaroslav нравится это.
  6. Yaroslav

    Yaroslav New Member Пользователи

    Регистрация:
    7 ноя 2020
    Сообщения:
    6
    Все отлично работает. Подскажите еще как можно реализовать чтобы в столбец рядом с запросом прописывался УРЛ по которому собираются запросы?
     
  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    .
     

    Вложения:

    Yaroslav нравится это.
  8. Yaroslav

    Yaroslav New Member Пользователи

    Регистрация:
    7 ноя 2020
    Сообщения:
    6
    Не могли бы вы внести правки в проект? При парсинге сохраняется только УРЛ страницы, а поисковый запрос нет. Заранее благодарю
     

Поделиться этой страницей