Парсинг выдачи youtube

Тема в разделе "Решения по парсингу популярных сайтов", создана пользователем Konstantine, 22 мар 2020.

Метки:
  1. Konstantine

    Konstantine Member Пользователи

    Регистрация:
    7 май 2018
    Сообщения:
    33
    Доброго времени суток!
    Прошу подсказать, возможно ли еше парсить результаты поиску по ютубу?
    Я формирую линки генерацией из шаблона Ссылки недоступны для гостей, подключил прокси, включил WIN-библиотеку для HTTP-запросов программы и для прокси(использую анонимные бесплатные для теста, пробую задать границы парсинга на одной странице), стабильно получаю ответ "We're sorry... ... but your computer or network may be sending automated queries. To protect our users, we can't process your request right now. See Google Help for more information."
     
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Не привязывайте ссылки к определенному значению параметра sp
    Код:
    https://www.youtube.com/results?search_query=%D0%BA%D0%B0%D0%BA+%D1%81%D0%B4%D0%B5%D0%BB%D0%B0%D1%82%D1%8C&sp=SBSYAQHqAwA%253D
     
  3. Konstantine

    Konstantine Member Пользователи

    Регистрация:
    7 май 2018
    Сообщения:
    33
    sp=SBSYAQHqAwA%253D это сортировка по просмотрам. без этого параметра картина не поменялась: "We're sorry..." и все как мы любим )
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Анонимные бесплатные прокси уже могут быть в бане Google.
     
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Забыл написать.

    В WIN поддерживаются HTTP/HTTPS/SOCKS4 (не SOCKS5) прокси без авторизации по логин паролю (поддержку авторизации по логин паролю, при необходимости, можно добавить).

    Библиотека Clever Internet Suite поддерживает, насколько я знаю, все типы прокси.
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Если будут вопросы, обращайтесь
     
  7. Konstantine

    Konstantine Member Пользователи

    Регистрация:
    7 май 2018
    Сообщения:
    33
    Я добавил прокси в список по Ctrl+r и прожал "Добавить сервера с проверкой/проверить список", из порядка 50 прокси проверку прошли 10 - на них я и тренируюсь. возможно ли, что прокси, которые прошли проверку, все равно находятся в бане?

    я использую прокси без аутинтефикации

    как я понял, прокси с авторизацией вносятся в список в таком виде: login: pass@proxy_ip: port + нужно включить библиотеку CIS в Списке проки и в Настройке НТТР-запросов программы
    или нужно еще что-то сделать?
     
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Ссылки недоступны для гостей

    Достаточно изучить скриншоты с аннотациями.
     
  9. TeslaCo

    TeslaCo Member Пользователи

    Регистрация:
    4 мар 2014
    Сообщения:
    211
    Здравствуйте,
    доступна ли сейчас функция использования прокси с авторизацией в библиотеке WIN ?
     
  10. sergeychuk1

    sergeychuk1 New Member Пользователи

    Регистрация:
    18 май 2020
    Сообщения:
    12
    Город:
    Chernivci
    Подключите win, укажите файл с проксями, или из буфера в форму вставте, добавить без проверки если норм. (платные). Соблюдите порядок написания login;pass;port;ip. И проверить. Минутное дело )
     
    Последнее редактирование: 18 авг 2021
  11. sergeychuk1

    sergeychuk1 New Member Пользователи

    Регистрация:
    18 май 2020
    Сообщения:
    12
    Город:
    Chernivci
    На youtube нужны хорошие прокси, поиграться с настройками задержки, и потоков чтобы парсило без бана.
     
  12. TeslaCo

    TeslaCo Member Пользователи

    Регистрация:
    4 мар 2014
    Сообщения:
    211
    В системе помощи указано что не работают прокси с авторизацией в библиотеке WIN, ну и да, конечно же я это проверял лично. Вопрос был к разработчику, есть ли в планах или возможно уже реализовано, и готовится в следующем обновлении появится, а может и вовсе уже есть, но нужно произвести специальную настройку для данной связки.

    PS. вопрос не про ютуб, вопрос про прокси с авторизацией и библиотеку WIN
     
  13. sergeychuk1

    sergeychuk1 New Member Пользователи

    Регистрация:
    18 май 2020
    Сообщения:
    12
    Город:
    Chernivci
    Не поддерживается в win )
     
    Последнее редактирование: 21 авг 2021
  14. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Нет, WININET не работает с несколькими типами прокси. Используйте библиотеку Clever Internet Suite (CIS). Она работает со всеми типами прокси, включая IpV6...
     

Поделиться этой страницей