Парсинг youtube (канала)

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем Pretender, 18 фев 2013.

Метки:
  1. Pretender

    Pretender New Member Пользователи

    Регистрация:
    18 фев 2013
    Сообщения:
    3
    Добрый день!

    Подскажите, пожалуйста, никак не могу разобраться, как парсить youtube не по ключевым словам, а допустим канал.
    Есть канал, например, этот: Ссылки недоступны для гостей

    С него надо спарсить урлы видео и урлы картинок - как это правильней сделать?

    Спасибо заранее!
    p.s. и за программу огромное спасибо! Супер вещица )
     
  2. alamina.moon

    alamina.moon Модератор Команда форума Модератор

    Регистрация:
    14 янв 2013
    Сообщения:
    214
    Отвечу прямо :) заходишь на страницу, долго и упорно нажимаешь кнопку "Еще" пока не загрузится вся страница. В принципе можешь настроить какой нить кликер автоматический, который запоминает твои действия и повторяет их позже. (или Зенопостером, но это сложнее и дороже)

    После того как вся страница загрузится, берешь ее код и в notepad++ выдергиваешь ссылки, которые можно потом успешно спарсить в CD.

    Это будет самый простой способ.
    Сложный: сделать проект в зенопостере со входными параметрами в виде адреса группы, а дальше уже дело техники: прокрутка, парсинг, прокрутка, парсинг и т.д. Если нужен под зеннопостер проект то всегда готов помочь.

    Есть и другой способ, даже два ) описаны ниже.
     
    Последнее редактирование: 25 фев 2013
  3. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.432
    Адрес:
    Latvia
    Еще как вариант парсить мобильную версию, картинку брать можно любого размера (ид один а вот ссылка для каждого размера своя)
    Шаблон ссылки для проставления диапазона во вкладке "ссылки"
    PHP:
    http://m.youtube.com/user/{key}/videos?page={num}&query=&view=0
    пример для вашей ссылки получится такой
    PHP:
    http://m.youtube.com/user/CarliBel55/videos?page=1&query=&view=0
    http://m.youtube.com/user/CarliBel55/videos?page=2&query=&view=0
    http://m.youtube.com/user/CarliBel55/videos?page=3&query=&view=0
    ... и т.д.
     
    Последнее редактирование: 25 фев 2013
  4. alamina.moon

    alamina.moon Модератор Команда форума Модератор

    Регистрация:
    14 янв 2013
    Сообщения:
    214
    Ребята я поспешил
    Можно спарсить и обычную версию без проблем.

    И вот Вам рабочая схема:
    1. Запускаем httpFox - Запись
    2. Нажимаем на кнопка "ЕЩЕ" видим адрес на подобии
    Код:
    http://www.youtube.com/channel_ajax?action_more_single_playlist_videos=1&page=2&list_id=UU21yq4sq8uxTcfgIxxyE9VQ
    3. Подставляем в page нужный номер страницы (придется посмотреть сколько видео в группе)
    4. В результате у нас будет текстовый файл в формате json но это ничего страшного.
    5. Вырезаем из него с помощью вот такой регулярки
    Код:
    data-video-ids=\\"([a-Z0-9]{4,15})
    id видео файлов
    6. Парсим страницу Ссылки недоступны для гостей

    Вот и все.
     
    Последнее редактирование: 25 фев 2013
  5. Pretender

    Pretender New Member Пользователи

    Регистрация:
    18 фев 2013
    Сообщения:
    3
    спасибо большое всем за решения, попробую все и отпишусь )
     
  6. Pretender

    Pretender New Member Пользователи

    Регистрация:
    18 фев 2013
    Сообщения:
    3
    Нашел очень простое решение по вытаскиванию ID видео - сохраняю всю страницу как txt и вытаскиваю нужные данные в экселе )
    Спасибо за помощь! :)
     
    Последнее редактирование: 27 фев 2013
  7. alamina.moon

    alamina.moon Модератор Команда форума Модератор

    Регистрация:
    14 янв 2013
    Сообщения:
    214
    Вот это автоматизация ;)
     
  8. Process

    Process New Member Пользователи

    Регистрация:
    9 авг 2020
    Сообщения:
    2
    Город:
    Москва
    А есть какое-нибудь более универсальное решение?
    Чтобы не пришлось смотреть число роликов в каждом плейлисте например.
     

Поделиться этой страницей