Сайт с информацией, подгружаемой скриптом

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем coolbratan, 22 дек 2014.

  1. coolbratan

    coolbratan New Member Пользователи

    Регистрация:
    27 ноя 2014
    Сообщения:
    52
    Город:
    Харьков
    Здравствуйте. Есть сайт data.com, с него нужно спарсить информацию контактов. Все бы ничего, но e-mail и phone подгружается только при нажатии на ссылку на странице контакта и то при наличии поинтов на счету. С поинтами это вопрос третий, ими можно разжиться, а вот как автоматически получить информацию - ? Пробовал через <GETMORECONTENT>, но, видимо, верной ссылки так и не нашел, потому что ничего не получилось. В ручном режиме
    через браузер нажал на ссылки (для ссылок #3 и #4 из списка ссылок парсинга), чтобы открыть информацию, и она сама начала подгружаться и, соответственно, появилась возможность спарсить. Вопрос: возможно ли всетаки реализовать получение данных по ссылке с помощью <GETMORECONTENT>, или только имитацией клика через WBApp? В приложении файл проекта и информация с LiveHTTPHeaders при нажатии на ссылку (2 листа - две ссылки разных контактов - пытался отследить закономерность).
     

    Вложения:

  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    1) Для парсинга контактной информации сайт требует авторизоваться:
    2) Программа парсит в CSV, а не в xls (вы показали пример xls). Думаю, формат "каких вы хотите гипер-ссылок" CSV не поддерживает!

    С уважением к вам, Сергей...
     
  3. coolbratan

    coolbratan New Member Пользователи

    Регистрация:
    27 ноя 2014
    Сообщения:
    52
    Город:
    Харьков
    1) Login: Dlyassilok@yandex.ru, пароль: Birthday_1986, там на счету 10 поинтов, т.е. хватит на открытие e-mail и phone на двух контактах (по 5 поинтов за один). Когда уже авторизовавшись заходите на страницу контакта, e-mail и phone там скрыты, так вот мне и нужно автоматизировать открытие этой информации. Желательно через макрос, а не через WBApp, поскольку по времени займет гораздо дольше, а мне нужно спарсить 90000 контактов.
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Простите, но при вводе вашего логина и пароля я получаю следующее:
     
  5. coolbratan

    coolbratan New Member Пользователи

    Регистрация:
    27 ноя 2014
    Сообщения:
    52
    Город:
    Харьков
    Пароль сбросил, авторизация проходит!
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    1) У вас в системе вроде как установлен IE8 (рекомендуется использовать IE11)

    2) В список событий WBApp добавьте примерно следующее (Ссылки недоступны для гостей):
    Код:
    [WAIT]:1000
    [CLICK][id][N]0[/N][FULL]:headerLogin
    [IFCLICKED]
    [WAIT]:2000
    [PASTE][id][N]0[/N][FULL]:j_username[TEXT]:Dlyassilok@yandex.ru
    [PASTE][id][N]0[/N][FULL]:j_password[TEXT]:Dlyassilok@yandex.ru
    [CLICK][id][N]0[/N][FULL]:_spring_security_remember_me
    [CLICK][classname][N]0[/N][FULL]:button-standard-text
    [WAIT]:5000
    [/IFCLICKED]
    [CLICK][id][N]0[/N][FULL]:getDetailsLink
    [WAIT]:3555
    Эта конструкция должна логиниться (если вы не авторизованы на сайте) и нажимать кнопку отображения контактной информации.

    С уважением к вам, Сергей...
     
  7. coolbratan

    coolbratan New Member Пользователи

    Регистрация:
    27 ноя 2014
    Сообщения:
    52
    Город:
    Харьков
    Большое спасибо за помощь! Я работаю на Windows XP, поэтому IE выше 8 версии не становится (привык к ХРюше, все никак сменить не могу)
     
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Пожалуйста. Обращайтесь...
     
  9. sva29

    sva29 New Member Пользователи

    Регистрация:
    3 окт 2014
    Сообщения:
    12
    У меня немного другая проблема, но тоже по теме. Сайт в CD открывается с совершенно другим кодом, не таким как в браузере, невозможно определить границы парсинга. Вот сайт
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    P.S. Я не извращенец, сам уже 1000 рез пожалел, что согласился помочь знакомому с открытием его магазина по этой тематике
     
  10. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Здравствуйте.
    Все там нормально открывается.
    Просто пройдите авторизацию, кнопка ключика.
    Не разберетесь, обратитесь ко мне в скайп.
    Спасибо.
     
  11. sva29

    sva29 New Member Пользователи

    Регистрация:
    3 окт 2014
    Сообщения:
    12
    После авторизации все равно не появился код. Подскажите как его отследить, через Live HTTP, я не прошу настроить мне весь проект парсинга, просто подскажите где искать код, и может ли эта программа его найти?
     
  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Приведенная вами WEB-страница
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    прекрасно открывается. В чем у вас проблема - непонятно!
     
  13. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Проблема была в том, что ТС не создавал НОВЫЙ ПРОЭКТ, а использовал настройки в которых были прописаны wbapp от другого проекта.
     
  14. drpellot

    drpellot New Member Пользователи

    Регистрация:
    23 сен 2014
    Сообщения:
    15
    Помогите вот с какой проблемой. На сайте
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    размер одежды загружается скриптом. Я использую IE 11. Когда нажимаю задание границ, проходит WBapp, потом все нормально видно. Задаю границы парсинга размеров, сохраняю и нажимаю предпросмотр. При загрузке из кеша размеры нормально отображаются. Но если кеш очистить и нажать предпросмотр, то после выполнения WBApp размеры не парсятся. Что делаю не так?
     
  15. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    ctrl+h ставите галочку контент и все
    потом просто настраиваете границы
     
  16. drpellot

    drpellot New Member Пользователи

    Регистрация:
    23 сен 2014
    Сообщения:
    15
    В том то и дело, что именно так я все сделал. Границы могу задать нормально. Но как только нажимаю предпросмотр результата на другой ссылке, то размеров нет.
     
  17. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    приведите пример ссылок
     
  18. drpellot

    drpellot New Member Пользователи

    Регистрация:
    23 сен 2014
    Сообщения:
    15
    Вот тестовый файл проекта.
    Выбираю границы размеров по первой. Сохраняю. Щелкаю предпросмотр по второй и все, размеров нет.
     

    Вложения:

    • kik_de_test.cdp
      Размер файла:
      29,1 КБ
      Просмотров:
      2
  19. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Вы за основу начала границы взяли
    Код:
    <dt><label>Gro?en</label></dt>
    Знак ? это не то что мы видим, вот и не получаете ту границыу которую нужно.
    Поменяйте на другую границу и заработает.
     
  20. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Меню - файл - загрузить проект.

    С уважением к вам, Сергей.
     

    Вложения:

Поделиться этой страницей