помощь в парсинге определенного сайта

Тема в разделе "Решение различных задач по парсингу", создана пользователем Root, 10 мар 2010.

  1. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Пожалуйста.

    Вот я настроил проект, где листает вниз и грузит картинки.

    Этот сайт требует авторизацию, поэтому, перед парсингом нужно будет авторизоваться в браузере программы (кнопка с изображением ключика во вкладке "Контент").

    Если у вас будут еще вопросы, пожалуйста, обращайтесь.

    С уважением к вам, Сергей.
     

    Вложения:

  2. Cyberika

    Cyberika New Member Пользователи

    Регистрация:
    7 апр 2015
    Сообщения:
    8
    Благодарю Вас за помощь!
     
  3. TIIIMOXAN

    TIIIMOXAN New Member Пользователи

    Регистрация:
    12 авг 2011
    Сообщения:
    29
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
  5. Hiro_Nakamura

    Hiro_Nakamura New Member Пользователи

    Регистрация:
    2 июл 2015
    Сообщения:
    6
    Здравствуйте. На этом сайте можно сделать корректный парсинг с использованием тега VERTTABLE
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Приложил проект.
     

    Вложения:

    • isolux_ru2.cdp
      Размер файла:
      27,5 КБ
      Просмотров:
      8
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Подобные таблицы нужно парсить таким методом Ссылки недоступны для гостей

    С уважением к вам, Сергей.
     
  7. user01

    user01 New Member Пользователи

    Регистрация:
    4 сен 2015
    Сообщения:
    2
  8. legemm

    legemm New Member Пользователи

    Регистрация:
    8 июн 2015
    Сообщения:
    1
    Здравствуйте! Подскажите или покажите пример как спарсить видео с сайта
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Ничего не получается! Программа полная. С картинками проблем нет, к примеру алиэкспресс "под орех разделал", а с этим сайтом никак :( Помогите пожалуйста.
     
  9. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    Сайт использует более 260 разных источников видео, от каждого берется просто код плеера.
     
  10. andreystrelkov

    andreystrelkov New Member Пользователи

    Регистрация:
    22 сен 2015
    Сообщения:
    1
    Добрый день, помогите пожалуйста, пытаюсь парсить товары отсюда
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    не получается открывать ссылки

    Не удалось загрузить код сраницы!

    Возможные причины:
    - Программа не может получить доступ в сеть интернет;
    - Была выбрана невалидная ссылка;
    - Из-за частых запросов сайт заблокировал программу.


    в чём может быть дело? HTTPS?
    Можно как то решить проблему?
     
  11. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    С данными ссылками программа давно работает отлично, обновите программу.
     
  12. kupi58

    kupi58 New Member Пользователи

    Регистрация:
    22 сен 2015
    Сообщения:
    1
    Пожалуйста подскажите как спарсить карточку товара на этом сайте
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    цена название картинка доп картинки и описание ... если не затруднит шаблоном кто нить сделайте скиньте... а лучше обьясните ппц 3 дня уже туплю
     
  13. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Проект приложил к сообщению (в программе: меню - файл - загрузить проект).

    Краткий курс по основам работы с программой Ссылки недоступны для гостей

    А вот и система помощи Ссылки недоступны для гостей

    Если будут появляться еще вопросы, пожалуйста, задавайте.

    С уважением к вам, Сергей.
     

    Вложения:

  14. petrovu4

    petrovu4 New Member Пользователи

    Регистрация:
    1 окт 2015
    Сообщения:
    3
    Здравствуйте. Помогите новичку спарсить товары с этого сайта -
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    , сижу уже пару дней вроде уже немножко разобрался с программой, но не как не могу все слепить, запутался с макросами. Характеристики (/Products/features/), описание (/Products/description/) и картинки (/files/BigImages/) товаров подгружаются... Разъясните в проекте. Всем добра!
     
  15. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте!

    Проект прикрепил (в программе: меню - файл - загрузить проект).

    С уважением к вам, Сергей...
     

    Вложения:

  16. dentany

    dentany New Member Пользователи

    Регистрация:
    28 апр 2013
    Сообщения:
    16
    Город:
    г. Донецк
    Поставили мне задачу - спарсить с сайта метаданные "Keywords". Есть файл со списком ссылок (около 80К). Ссылки вида (сорри, сайт 18+):
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Можно нашей прогой их вытянуть, или лучше сразу отказаться? CTRL+U - поле кейвордов пустое, но они заполнены, и когда по хедеру щелкаешь правой просмотр кода элемента - кейворды есть. Но вручную 80К ссылок пройти нереально...
     
    Последнее редактирование: 9 окт 2015
  17. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Создаем новый файл проекта (shift+ctrl+n).

    Переходим во вкладку "Контент".

    Задаем границу парсинга для взятия метатегов keywords:
    В шаблоне вывода (ctrl+2) оставляем только:
    Где <CD_DOCURL!> выводит в результат парсинга адрес WEB-страницы, а <CD_GRAN_1!> - кейворды.

    Добавляем ваши 80k ссылок (f8), и жмем начать парсинг (f5).

    С уважением к вам, Сергей.
     
  18. dentany

    dentany New Member Пользователи

    Регистрация:
    28 апр 2013
    Сообщения:
    16
    Город:
    г. Донецк
    Спасибо, но не получилось - даже в предпросмотре видно, что пусто...
     

    Вложения:

    • beeg_com.cdp
      Размер файла:
      29,4 КБ
      Просмотров:
      3
  19. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Здравствуйте!
    Посмотрите прикрепленную картинку.
    Во первых у меня Keywords написано с большой буквы, а в границе задано с маленькой. (это можно исправить нажав shift+ctrl+r и вставив
    Код:
    <meta name="Keywords"|<meta name="keywords"
    Во вторых в самих кейвордах пусто.
    Но проект будет работать.
     

    Вложения:

  20. dentany

    dentany New Member Пользователи

    Регистрация:
    28 апр 2013
    Сообщения:
    16
    Город:
    г. Донецк
    В кейвордах пусто, если смотреть исходный код страницы. Но они есть, если смотреть код элемента (хедера) - в этом-то и задача.
    Замена маленькой буквы на большую ничего не дает, к сожалению...
     

    Вложения:

    • 49.jpg
      49.jpg
      Размер файла:
      76 КБ
      Просмотров:
      0

Поделиться этой страницей