Парсинг адресов сайтов организаций с сервиса Гугл Карты

Тема в разделе "Решения по парсингу популярных сайтов", создана пользователем Valy, 28 июл 2020.

Метки:
  1. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Проверял на двух разных ПК (с Windows 10 и 7).

    Не знаю, в чем проблема у вас. Разберитесь в ней. Так же убедитесь, что используете актуальную версию Content Downloader.
     
  2. Vasiliy

    Vasiliy New Member Пользователи

    Регистрация:
    10 мар 2020
    Сообщения:
    4
    Город:
    Москва
    А как напарсили эти ссылки? Раскажите если не сложно
     
  3. ivermali

    ivermali New Member Пользователи

    Регистрация:
    3 окт 2019
    Сообщения:
    16
    Здравствуйте.
    1) [GETCLIPBOARDTEXT]
    [ADDTORESULT]:[OBTAINEDURL][?][/OBTAINEDURL]
    Подскажите, как правильно указать эту конструкцию для варианта 1?
    2) В этом варианте обнаружилась такая проблема, что там, где нет адреса сайта. Туда тоже вставляется сайт с предыдущей страницы с адресом сайта. После парсинга, получаются все компании с сайтами :) Пример:
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей - это вставляется и туда, где нет сайта. Первая строка должна быть "Ссылки недоступны для гостей", а вторая строка "-".
    3) Можно как-то ускорить парсинг из варианта 1? Вариант 1, будет быстрее варианта 2, я правильно же понимаю? Так как, там не надо отдельно загружать страницу Ссылки недоступны для гостей И в варианте 2, выставляются всего 2 потока под парсинг.
    Про вариант 1:
    Сначала загружается страница за 3477 МС (стандартное значение в парсере). Потом идут события ожидания из WBAppCEF:
    [REPEAT]:30
    [WAIT]:500
    [WAIT]:100
    [WAIT]:1500
    Я правильно понимаю, проходит как минимум 5607 МС? Может от чего-то можно отказаться или хотя бы уменьшить их время?
    4) Если я запустил данный парсинг и параллельно пытаюсь работать, например в ворде. Копирую там что-то (текст) и вставляю через буфер обмена. То, эти левые данные могут залететь в результаты парсинга, попасть в таблицу? Если да, то как-то можно от этого защититься?
    Спасибо.
     
    Последнее редактирование: 12 мар 2021
  4. ivermali

    ivermali New Member Пользователи

    Регистрация:
    3 окт 2019
    Сообщения:
    16
    Здравствуйте.
    Кто-нибудь может ответить на мои вопросы, которые я писал выше :)
     
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здраствуйте.

    1) Не знаю, нужно изучать проект
    2) Перед событием копирования текст вставьте событие копирование пустого текста для сброса данных в буфере
    3) Не знаю, нужно изучать проект
    4) Либо используйте на отдельном ПК, либо на виртуальной машине
     
    ivermali нравится это.
  6. ivermali

    ivermali New Member Пользователи

    Регистрация:
    3 окт 2019
    Сообщения:
    16
    Так это проект из вашего сообщения https://forum.sbfactory.ru/threads/...nizacij-s-servisa-gugl-karty.8832/#post-51580
    А как называется это событие, где эта кнопка (не вижу) и как правильно его прописать? Просто вставить [COPY]: ?
     
    Последнее редактирование: 22 мар 2021
  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Код:
    [COPY]:
     
    ivermali нравится это.

Поделиться этой страницей