Парсинг выдачи youtube

Тема в разделе "Решения по парсингу популярных сайтов", создана пользователем Konstantine, 22 мар 2020.

Метки:
  1. Konstantine

    Konstantine Member Пользователи

    Регистрация:
    7 май 2018
    Сообщения:
    33
    Доброго времени суток!
    Прошу подсказать, возможно ли еше парсить результаты поиску по ютубу?
    Я формирую линки генерацией из шаблона Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме! , подключил прокси, включил WIN-библиотеку для HTTP-запросов программы и для прокси(использую анонимные бесплатные для теста, пробую задать границы парсинга на одной странице), стабильно получаю ответ "We're sorry... ... but your computer or network may be sending automated queries. To protect our users, we can't process your request right now. See Google Help for more information."
     
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    3.822
    Город:
    Riga
    Не привязывайте ссылки к определенному значению параметра sp
    Код:
    https://www.youtube.com/results?search_query=%D0%BA%D0%B0%D0%BA+%D1%81%D0%B4%D0%B5%D0%BB%D0%B0%D1%82%D1%8C&sp=SBSYAQHqAwA%253D
     
  3. Konstantine

    Konstantine Member Пользователи

    Регистрация:
    7 май 2018
    Сообщения:
    33
    sp=SBSYAQHqAwA%253D это сортировка по просмотрам. без этого параметра картина не поменялась: "We're sorry..." и все как мы любим )
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    12.478
    Здравствуйте.

    Анонимные бесплатные прокси уже могут быть в бане Google.
     
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    12.478
    Забыл написать.

    В WIN поддерживаются HTTP/HTTPS/SOCKS4 (не SOCKS5) прокси без авторизации по логин паролю (поддержку авторизации по логин паролю, при необходимости, можно добавить).

    Библиотека Clever Internet Suite поддерживает, насколько я знаю, все типы прокси.
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    12.478
    Если будут вопросы, обращайтесь
     
  7. Konstantine

    Konstantine Member Пользователи

    Регистрация:
    7 май 2018
    Сообщения:
    33
    Я добавил прокси в список по Ctrl+r и прожал "Добавить сервера с проверкой/проверить список", из порядка 50 прокси проверку прошли 10 - на них я и тренируюсь. возможно ли, что прокси, которые прошли проверку, все равно находятся в бане?

    я использую прокси без аутинтефикации

    как я понял, прокси с авторизацией вносятся в список в таком виде: login: pass@proxy_ip: port + нужно включить библиотеку CIS в Списке проки и в Настройке НТТР-запросов программы
    или нужно еще что-то сделать?
     
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    12.478

Поделиться этой страницей