Парсинг адресов сайтов организаций с сервиса Гугл Карты

Тема в разделе "Решения по парсингу популярных сайтов", создана пользователем Valy, 28 июл 2020.

Метки:
  1. Valy

    Valy New Member Пользователи

    Регистрация:
    1 ноя 2013
    Сообщения:
    10
    Здравствуйте! Возник такой вопрос. Нужно спарсить со справочника карты гугл. Код выглядит так на сайте. Как это сделать? Я так понимаю мне нужны только координаты? Как их потом превратить в карту?
    <iframe
    width="100%"
    height="100%"
    frameborder="0" style="border:0"
    src="Ссылки недоступны для гостей">
    </iframe>
    Спасибо за советы!!
     
    Последнее редактирование: 28 июл 2020
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Вопрос поставлен непонятно.

    Напишите URL (откуда парсить) и какие именно данные собирать.
     
  3. Valy

    Valy New Member Пользователи

    Регистрация:
    1 ноя 2013
    Сообщения:
    10
    я сейчас вычитала, что для гугл карт нужен ключ апи и он платный. Если я хочу сделать справочник на сайт, то это выйдет дорого. Даже не думала об этом. Может кто-то делал такое? Действительно платно стало?
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Не сталкивался. Возможно, кто-то подскажет.
     
  5. ivermali

    ivermali New Member Пользователи

    Регистрация:
    3 окт 2019
    Сообщения:
    16
    Здравствуйте.
    Нужна помощь, не хватает опыта, делаю парсинг Гугл Карт. Для парсинга страниц использую WBAppCEF. Всё отлично, но не знаю, как получить адрес веб-страницы сайта компании. Примеры ссылок:
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
    Например первая ссылка, там просто facebook.com Есть рядом кнопки Перейти на сайт и Скопировать ссылку на сайт. Как правильно мне их обработать, чтобы получить обратно в таблицу адрес Ссылки недоступны для гостей ?
    Спасибо.
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Вариант 1: Копировать ссылку в буфер (добавится в конец кода WEB-документа). Но в таком случае нужно парсить в 1 поток.
     

    Вложения:

    • google_com.cdp
      Размер файла:
      43,4 КБ
      Просмотров:
      16
  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Вариант 2 (без копирования в буфер). Можно парсить в несколько потоков. Полученная ссылка в конце кода WEB документа.

    2020-08-09_20-03-35.png
     

    Вложения:

    ivermali нравится это.
  8. ivermali

    ivermali New Member Пользователи

    Регистрация:
    3 окт 2019
    Сообщения:
    16
    Большое спасибо за обратную связь с готовым решением, вы супер :) Но я не знаю, как правильно указать границу парсинга. Когда есть начало парсинга, а с другой стороны пустой конец кода веб-страницы. Как правильно это обработать?
     
  9. kenny872012

    kenny872012 Well-Known Member Пользователи

    Регистрация:
    18 фев 2018
    Сообщения:
    312
    Добавить {textend} в поиск-замену для загружаемого кода Ссылки недоступны для гостей
     
    ivermali нравится это.
  10. ivermali

    ivermali New Member Пользователи

    Регистрация:
    3 окт 2019
    Сообщения:
    16
    Вы наверное про другое, как правильно указать конец парсинга (смотрите скриншот)?
     

    Вложения:

  11. ivermali

    ivermali New Member Пользователи

    Регистрация:
    3 окт 2019
    Сообщения:
    16
    А, всё, додумался, отлично, спасибо вам :) Но, вы когда хотите кому-нибудь помочь, то пишите свою мысль полностью, тут не все такие умные, как вы.
     

    Вложения:

  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    2020-08-10_16-04-46.png

    2020-08-10_16-05-26.png
     
    ivermali нравится это.
  13. ivermali

    ivermali New Member Пользователи

    Регистрация:
    3 окт 2019
    Сообщения:
    16
    Только сейчас обратил внимание, что если сайт не указан, то в результате появляется ненужный адрес. Пример Ссылки недоступны для гостей Что не логично, если не указан веб-адрес заведения, можно поправить.
     
  14. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    .
     

    Вложения:

    ivermali нравится это.
  15. ivermali

    ivermali New Member Пользователи

    Регистрация:
    3 окт 2019
    Сообщения:
    16
    Большое вам спасибо за оперативную помощь :)
     
  16. ivermali

    ivermali New Member Пользователи

    Регистрация:
    3 окт 2019
    Сообщения:
    16
    Здравствуйте.
    Появилось две проблемы, первая и самая главная. Перестали собираться веб-адреса компаний, вместо этого выводится результат "about:blank#blocked".
    Второй момент, когда еще собирало веб-адреса компаний. То там был такой баг, например Ссылки недоступны для гостей Иногда вместо сайта "Ссылки недоступны для гостей" в результат добавляется адрес текущей страницы "Ссылки недоступны для гостей".
    Прикрепил список веб-страниц для тестирования проблем, если кто захочет.
    Спасибо.
     

    Вложения:

  17. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    1) Переделал клик (проект приложил)
    2) Сайт недоступен, поэтому не открывает
     

    Вложения:

  18. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Код JS нового клика по кнопке (для WBAppCEF).

    2020-08-16_20-15-04.png

    Код:
    var bxpath = document.evaluate ("//img[@src='//www.gstatic.com/images/icons/material/system_gm/1x/public_gm_blue_24dp.png']", document, null, XPathResult.FIRST_ORDERED_NODE_TYPE, null);
    DOMNODE = bxpath.singleNodeValue;
    
    ///Выполняем клик по элементу:
    DOMNODE.click();
    alert("[JSMESSAGE]:YES");
    
     
  19. ivermali

    ivermali New Member Пользователи

    Регистрация:
    3 окт 2019
    Сообщения:
    16
    Здравствуйте.
    Ничего не выводит, пишет, что Результирующий документ оказался пустым. Хотя веб-страница загружается и там есть веб-адрес организации.
    Это мне нужно куда-то вставить или оно уже вставлено в последний проект? Вижу, что уже вставлено, тогда ничего не работает :)
     
  20. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Только что проверил, URL выводит.
     

Поделиться этой страницей