Как парсить видео с YouTube (по ключевым словам)

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем Root, 14 фев 2012.

  1. SequelONE

    SequelONE New Member Пользователи

    Регистрация:
    27 апр 2017
    Сообщения:
    63
    Ну с парсингом более менее разобрался, а как к примеру из получаемого текста вырезать все ссылки? И как парсить чтобы по одному ключу выдавало одну запись? По второму вопросу как я понимаю нужно в настройках парсинга ссылок это искать, а вот где это вопрос :|

    UPDATE: Со вторым вопросом разобрался, делается при помощи макроса

    Код:
    [HTMTOTXT:br]текст, содержащий теги[/HTMTOTXT]
    
    где br тэг, который не вырезается.

    и по первому вопросу разобрался, в фильтре ссылок можно указывать максимальное число ссылок при парсинге.
     
    Последнее редактирование: 27 апр 2017
    Root нравится это.
  2. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Если показывать в нужном направлении, Вы еще многое узнаете)
     
    Root нравится это.
  3. SequelONE

    SequelONE New Member Пользователи

    Регистрация:
    27 апр 2017
    Сообщения:
    63
    Как спарсить ссылки через Сканер сайтов с [PARAM]? Чтобы к каждой спарсенной ссылке подставлялся ключ?
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
  5. SequelONE

    SequelONE New Member Пользователи

    Регистрация:
    27 апр 2017
    Сообщения:
    63
    Огромное спасибо. До обновления Content Downloader почему-то кнопки Дополнительно там не было, была только XML Generator.
     
  6. SequelONE

    SequelONE New Member Пользователи

    Регистрация:
    27 апр 2017
    Сообщения:
    63
    С переходом сайта полностью на AJAX как теперь парсить из результатов поиска, когда нет разбивки на страницы с результатами?
     
  7. Japonec

    Japonec Well-Known Member Пользователи

    Регистрация:
    19 июл 2015
    Сообщения:
    92
    Адрес:
    Kiev
    подгрузка новых материалов при прокрутке в самый низ? если да, то Wapp и макрос прокрутить в самый низ.
     
  8. SequelONE

    SequelONE New Member Пользователи

    Регистрация:
    27 апр 2017
    Сообщения:
    63
    Не парсится вообще. Не могу ссылки собрать. Программа тупо зависает и ничего не парсит. :(
     
  9. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    мобильные версии, а также API - поддаются парсингу.
     
  10. SequelONE

    SequelONE New Member Пользователи

    Регистрация:
    27 апр 2017
    Сообщения:
    63
    Я уже спарсил. Не знаю от чего, но старый проект категорически не хотел загружать сайт youtube.com, когда создал новый проект и начал его настраивать всё заработало)
     
  11. Mihail

    Mihail New Member Пользователи

    Регистрация:
    23 окт 2017
    Сообщения:
    1
    Город:
    Moscow
    Можете пожалуйста перезалить файл , не могу скачать youtube_key-new__v3.cdp
     
  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Пожалуйста.
     

    Вложения:

    resume нравится это.
  13. xrumchik

    xrumchik New Member Пользователи

    Регистрация:
    27 мар 2013
    Сообщения:
    10
    Можете пожалуйста перезалить работающий проект. Этот не парсит , хотя ссылки собирает нормально
     
  14. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Подобного проекта у меня сейчас нет. Создайте проект самостоятельно если будут затруднительные моменты, обращайтесь, постараемся помочь.

    Если хотите заказать платное выполнение файла проекта, у специалистов по настройке с этим проблем нет.
     
    Последнее редактирование: 13 дек 2017
  15. xrumchik

    xrumchik New Member Пользователи

    Регистрация:
    27 мар 2013
    Сообщения:
    10
    Не получается спарсить комментарии, похоже на подгружаемый модуль
     

    Вложения:

    • youtube_com.cdp
      Размер файла:
      42,5 КБ
      Просмотров:
      15
  16. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Для парсинга комментариев нужно имитировать действия пользователя в браузере (прокрутка страницы вниз и клик по кнопке загрузки следующих комментариев)

    Ссылки недоступны для гостей

    2017-12-14_17-43-34.png

    Код:
    [REPEAT]
    [SCROLLDOWN]
    [WAIT]:5000
    [CLICK][classname][N]0[/N][FULL]:yt-uix-button yt-uix-button-size-default yt-uix-button-default load-more-button yt-uix-load-more comment-section-renderer-paginator yt-uix-sessionlink
    [IFCLICKED]
    [/REPEAT]
    [/IFCLICKED]
     
    garat нравится это.
  17. xrumchik

    xrumchik New Member Пользователи

    Регистрация:
    27 мар 2013
    Сообщения:
    10
    Подскажите пожалуйста, можно ли из текста удалить все активные ссылки? они могут быть разные, поэтому поиск замена наверно врятле подойдет
     
  18. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Все есть в справке.

    Ссылки недоступны для гостей

    Удаление ссылок вместе с их текстом:
    Код:
    <a {skip}</a>|
    Удаление только тегов ссылок:
    Код:
    <a {skip}>|
    </a>|
     

Поделиться этой страницей