Как парсить видео с YouTube (по ключевым словам)

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем Root, 14 фев 2012.

  1. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Проект предназначен для парсинга видео с YouTube по ключевым словам в html (смотрите primer.zip).

    Как пользоваться:

    1. Загрузить проект в программу (меню - файл - загрузить проект)
    2. Ввести ключевики (кнопка {key}), каждый ключевик вводить на новой строке
    3. Нажать "добавить ссылки" - "используя диапазон"
    4. Перейти во вкладку "контент" и нажать F5 (начать парсинг)
     

    Вложения:

    Последнее редактирование модератором: 14 июл 2013
    resume нравится это.
  2. Valiks

    Valiks New Member Супер Модератор

    Регистрация:
    18 янв 2012
    Сообщения:
    554
    Адрес:
    Всё время в скэйпе
    Спасибо за проект.
    Вот бы ещё как-то сделать возможность выборки поиска Яндекса (как с Гугле).
     
  3. Lenok

    Lenok New Member Пользователи

    Регистрация:
    3 янв 2012
    Сообщения:
    14
    с английскими ключевиками нормально открывает и парсит, а вот с русскими не хочет.
    В (кнопку {key}) ввел "ВАЗ ремонт" выдает такую ссылку
    но при переходе на ютуб открывается вообще не то.
     
  4. Valiks

    Valiks New Member Супер Модератор

    Регистрация:
    18 янв 2012
    Сообщения:
    554
    Адрес:
    Всё время в скэйпе
    Странно вас как-то этот Ютубе любит. Избирательно.

    Но, что-то мне кажется, что вы какие-то неправильные действия предпринимаете. Проект работает, скачал, проверли ещё раз. Всё, в том числе и "ВАЗ ремонт" воспринимает как надо, также и любые другие ключевики. Никакой дискриминации по нац. признакам не обнаружено.

    Ссылка, которую вы тут показываете, открывать не нужно. Вы посмотрите в первом сообщении данной темы порядок действий.
    - ввести ключевики
    - нажать на кнопку "добавить ссылки", выбрать "используя диапазон"
    Кажется, это вы сделали, а дальше ничего не стали делать
    - после этих действий надо перейти во вкладку "Ссылки" и там нажать F5, и получить ссылки на сами ролики.
    - получив ссылки, перейти обратно во вкладку "Контент", нажать ещё раз F5 (или двойной клик мышкой на ссылке для предварительного просмотра) и спарсить выбранные вами ролики, насладиться счастьем.

    Попробуйте проделать эти действия, если не получится, стучитесь в Скайп, буду ждать, помогу.
     
  5. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    В данном случае могут быть две причины нерабочего проекта (как кажется, на самом деле работает) :
    1. По вашему ключевику нету результатов в поиске среди роликов (хотя это маловероятно)
    2. Вы исчерпали лимит обращения к youtube в короткое время, в этом можно убедиться при просмотре сайта (youtube) в броузере и будет видна Ссылки недоступны для гостей.

    Если youtube начал вас блокировать, решение такое:
    Было замечено что при обращени примерно 2500 раз подряд с одного ip , вызывают блокировку сервисом (Ссылки недоступны для гостей появилась), обождите 6-12 часов продолжайте парсинг далее.
    При использовании PROXY, выше описанных проблем не наблюдалось!
     
  6. Lenok

    Lenok New Member Пользователи

    Регистрация:
    3 янв 2012
    Сообщения:
    14
    Спасибо растолковали. Все получилось и замечательно спарсилось.
     
  7. Chilli

    Chilli New Member Пользователи

    Регистрация:
    15 авг 2012
    Сообщения:
    2
    Как задать правильно границы парсинга, чтобы не парсилось описание и рубрика? Нужно, чтобы спарсился только видеоролик и все!
     
  8. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    ищите по слову watch где будет виден ID видео, остальное настраивайте как вам угодно тоесть html код видео и т.д.
     
    Последнее редактирование: 16 авг 2012
  9. Valiks

    Valiks New Member Супер Модератор

    Регистрация:
    18 янв 2012
    Сообщения:
    554
    Адрес:
    Всё время в скэйпе
    Да, Kagorec, всё объяснил, но, дабы не было вопросов, я поясню примером. Всё, что вам нужно получить с Ютуба, это кусок кода из ссылки
    Код:
    http://www.youtube.com/watch?v=64V2m3r2w0U
    Далее, вам уже надо создать в шаблоне такой html-код для видео, который нужен именно вам, и свою конструкцию вставить ссылки под тот плеер или плагин, который используете вы.
     
  10. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    Вчера настраивая очередной раз программу для youtube, заметил что код (структура страниц) за месяц опять поменялось.
     
  11. LLlAXuMAT

    LLlAXuMAT New Member Пользователи

    Регистрация:
    21 авг 2012
    Сообщения:
    9
    И что? Теперь выложенный вначале вариант не работает?
     
  12. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    Работает как пример парсинга и указания границ, изза внесения изменений (постоянных) структуры youtube вы по желанию сами поправляете настройки под свои нужды.
     
    Последнее редактирование: 21 авг 2012
  13. nor

    nor New Member Пользователи

    Регистрация:
    12 июл 2012
    Сообщения:
    5
    Добрый вечер.
    Скажите, сейчас нормально парсится видео по этому проекту? Потому что пару дней назад пробовал парсить - не получается (раньше всё нормально парсилось)

    Делаю так:
    Так вот, ссылки начинают парситься, проходит время, и ни одной ссылки не остается, и никакие ссылки больше не появляются.

    P.S. Всех с наступающим! Побольше тИЦа и PRa :)
     
  14. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    Использовать надо только один user-agent, а также внести корректировки после изменения дизайна на ютьюбе
     
  15. nor

    nor New Member Пользователи

    Регистрация:
    12 июл 2012
    Сообщения:
    5
    Один user-agent во вкладке "контент"-"доп.настройки" ? Вроде и так один стоит.
     
  16. Cirilo

    Cirilo New Member Пользователи

    Регистрация:
    23 янв 2013
    Сообщения:
    2
    Подскажите, пожалуйста, как сделать чтобы парсились только видюхи у которых в тайтле есть {key}, или как их можно отсеивать, хотябы пните в нужную сторону, заранее спасибо.
     
  17. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    заходим на ютьюб и вводим чтото в поиск, внизу смотрим в пагинации ссылки вида
    PHP:
    http://www.youtube.com/results?search_query=prikol+2012&page=2
    В cd значит составить остается диапазон по количеству страниц на каждый кей
    PHP:
    http://www.youtube.com/results?search_query={key}&page={num}
     
  18. mald

    mald New Member Пользователи

    Регистрация:
    12 июн 2013
    Сообщения:
    1
    Вообще ничего не отображает. Подскажите, пожалуйста, какие изменения прописать
     
  19. alexabux

    alexabux New Member Пользователи

    Регистрация:
    13 июл 2013
    Сообщения:
    6
    Тоже ни чего не происходит.
    Прошу не пинать чайника, а понять и помочь!
    Нужны ссылки на ролики по ключевым словам
    формат ссылок:

    Ссылки недоступны для гостей
    Ссылки недоступны для гостей

    т.к. в текстовом виде, каждая ссылка с новой строки.
    Кто поможет, даю Медаль, а если уже есть, то денег могу дать.
    Одним словом, помогите чайнику ПОЖАЛУЙСТА!!!

    Записал видео со своими действиями, может где что пропустил?
    посмотрите пожалуйста = Ссылки недоступны для гостей
     
    Последнее редактирование: 14 июл 2013
  20. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    вы когда начали процесс сбора ссылок, обращайте внимание статус бар внизу если всегда 0 то ловить нечего)
    [​IMG]
    п.с. настройку сейчас обновлю в первом посте
     

Поделиться этой страницей