Как спарсить email, если стоит защита [javascript protected email address]

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем sawwwok, 18 авг 2015.

  1. sawwwok

    sawwwok New Member Пользователи

    Регистрация:
    18 авг 2015
    Сообщения:
    6
    Задача: Спарсить поля Название компании, Директор, Тел, Электронная почта и т.п. со страницы
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    в настройках границ парсинга где поле меил отображается [javascript protected email address], хотя на странице почта есть

    Как обойти защиту и спарсить меил?
     

    Вложения:

    • 111.jpg
      111.jpg
      Размер файла:
      77 КБ
      Просмотров:
      31
    sawwwok, 18 авг 2015
    #1
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    ctrl+h включить обработку яваскрипт для контент.
     

    Вложения:

    • mail.png
      mail.png
      Размер файла:
      31,7 КБ
      Просмотров:
      49
    kagorec, 18 авг 2015
    #2
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Более конкретно: нажать ctrl+h, включить галочку "контент" и задавать границы парсинга для взятия e-mail.

    С уважением к вам, Сергей.
     
    Root, 19 авг 2015
    #3
  4. sawwwok

    sawwwok New Member Пользователи

    Регистрация:
    18 авг 2015
    Сообщения:
    6
    Спасибо. Разобрался!
     
    sawwwok, 20 авг 2015
    #4
  5. sawwwok

    sawwwok New Member Пользователи

    Регистрация:
    18 авг 2015
    Сообщения:
    6
    Еще вопрос.
    Для чего нужен WBApp? Я не совсем понял, из того что описано в help.
     
    sawwwok, 20 авг 2015
    #5
  6. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    Wbapp - многофункциональный инструмент для парсинга сайтов где требуется обработка DOM (яваскрипт/ajax).
    С помощью этого инструмента можно при обращении к странице задать некоторые действия по условию (например) :
    * при требовании ввести каптчу, wbapp разгадывает автоматически и продолжает парсить.
    * сфотографировать часть страницы и сохранить картинку на диск
    * прокрутить страницу вниз чтобы подгрузить скрытые страницы (например как в twitter.com)
    * ввести данные в форму сайта и отправить (например сделать авто-авторизацию)
    ... и т.д.

    Многочисленное применение, насколько хватает стремления, рутинные работы автоматизировать можно в пару кликов.
     
    kagorec, 20 авг 2015
    #6
  7. sawwwok

    sawwwok New Member Пользователи

    Регистрация:
    18 авг 2015
    Сообщения:
    6
    То есть, если мне нужно парсить данные защищенные яваскриптом, как в моем первом случае, где я ставил галочку "контент", то мне нужно покупать только ULTIMATE? или для таких задач и подойдет версия без WBApp?
     
    sawwwok, 20 авг 2015
    #7
  8. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    Не обязательно, в данном случае подойдет лубая версия лицензии Contentr Downloader.
    п.с. DEMO версии не в счет))
     
    kagorec, 20 авг 2015
    #8
  9. sawwwok

    sawwwok New Member Пользователи

    Регистрация:
    18 авг 2015
    Сообщения:
    6
    Ok! +1 новый юзер Contentr Downloader))
     
    sawwwok, 20 авг 2015
    #9
  10. Seogrom

    Seogrom New Member Пользователи

    Регистрация:
    13 сен 2013
    Сообщения:
    3
    А можете поделится этим проектом ? просто я сейчас как раз занят его парсингом, та же проблема с email ..
     
    Seogrom, 18 июл 2017
    #10
  11. Umat

    Umat New Member Пользователи

    Регистрация:
    12 авг 2019
    Сообщения:
    2
    Город:
    Москва
    Добрый день, коллеги!

    Проблема похожая, но сложнее.
    Вот пример страницы Ссылки недоступны для гостей
    На ней email при заходе из браузера есть, а при просмотре кода страницы - нет.

    Подскажите, что это за защита зверская и как такого супостата перепарсить?
     
    Последнее редактирование: 12 авг 2019
    Umat, 12 авг 2019
    #11
  12. Djahat

    Djahat Well-Known Member Пользователи

    Регистрация:
    14 янв 2013
    Сообщения:
    543
    Город:
    Мордор
    Через WBAPP CEF - ПАРСИТ - http://forum.sbfactory.ru/threads/ustanovka-wbappcef.7673
     
    Djahat, 12 авг 2019
    #12
    Root нравится это.
  13. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Также рассмотрите такой вариант
    Ссылки недоступны для гостей

    PS: На данном сайте этот метод не проверял.
     
    Root, 12 авг 2019
    #13
    Djahat нравится это.
  14. Virtuoz

    Virtuoz New Member Пользователи

    Регистрация:
    17 июн 2013
    Сообщения:
    3
    Здравствуйте!

    В топике по улучшению программы было такое предложение:
    https://forum.sbfactory.ru/threads/predlozhenija-po-uluchsheniju-programmy.13/page-99#post-49938

    Есть ли сейчас подвижки в этом направлении?
    Или единственным вариантом является включение wbapp?

    Допустим, нужно спарсить ЕМАИЛ управляшки mail@uk-zarechie.ru вот с этой страницы:
    Ссылки недоступны для гостей

    (ссылку взял по мотивам официального обучающего видео

    )

    С выключенным wbapp при задании границ парсинга отображается такой код:

    Код:
    <dt>E-mail</dt>
<dd><a href="/cdn-cgi/l/email-protection" class="__cf_email__" data-cfemail="670a060e0b27120c4a1d061502040f0e02491512">[email&#160;protected]</a></dd>
    В мониторе сети в FireFox подозрение падает только на скрипт
    Ссылки недоступны для гостей

    Но он вызывается GET-запросом. И как передать параметры, я не понимаю.

    Подскажите, как в данном примере спарсить e-mail без wbapp ?

    Спасибо.
     
    Virtuoz, 21 мар 2022
    #14
  15. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Вот так.

    3 URL в секунду с 3 потоками.

    Версия программы должна быть актуальная!
     

    Вложения:

    • mingkh_ru.cdp
      Размер файла:
      53,7 КБ
      Просмотров:
      8
    Root, 21 мар 2022
    #15
    Virtuoz нравится это.
Similar Threads
  1. gans

    Парсинг email и чистка

    gans, 26 фев 2018, в разделе: Решение проблем с использованием программы
    Ответов:
    0
    Просмотров:
    560
    gans
    26 фев 2018
  2. bobbob15

    Парсинг email в csv

    bobbob15, 9 июн 2018, в разделе: Решение различных задач по парсингу
    Ответов:
    1
    Просмотров:
    472
    xLime
    9 июн 2018
  3. webbb

    Замена email покупателя

    webbb, 27 май 2019, в разделе: Свободный форум
    Ответов:
    1
    Просмотров:
    463
    Root
    27 май 2019
  4. Grushe

    Как спарсить несколько сайтов и собрать email?

    Grushe, 24 фев 2020, в разделе: Решение различных задач по парсингу
    Ответов:
    7
    Просмотров:
    842
    Root
    27 фев 2020
  5. dezi92

    Как спарсить номер телефона и email в интаграме.

    dezi92, 31 мар 2021, в разделе: Решения по парсингу популярных сайтов
    Ответов:
    0
    Просмотров:
    511
    dezi92
    31 мар 2021
Загрузка...

Поделиться этой страницей