Парсинг выдачи youtube

Discussion in 'Решения по парсингу популярных сайтов' started by Konstantine, Mar 22, 2020.

  1. Konstantine

    Konstantine Member Пользователи

    Joined:
    May 7, 2018
    Messages:
    33
    Доброго времени суток!
    Прошу подсказать, возможно ли еше парсить результаты поиску по ютубу?
    Я формирую линки генерацией из шаблона Ссылки недоступны для гостей, подключил прокси, включил WIN-библиотеку для HTTP-запросов программы и для прокси(использую анонимные бесплатные для теста, пробую задать границы парсинга на одной странице), стабильно получаю ответ "We're sorry... ... but your computer or network may be sending automated queries. To protect our users, we can't process your request right now. See Google Help for more information."
     
  2. kagorec

    kagorec Администратор Staff Member Администратор

    Joined:
    Jan 3, 2011
    Messages:
    4,442
    Location:
    Latvia
    Не привязывайте ссылки к определенному значению параметра sp
    Code:
    https://www.youtube.com/results?search_query=%D0%BA%D0%B0%D0%BA+%D1%81%D0%B4%D0%B5%D0%BB%D0%B0%D1%82%D1%8C&sp=SBSYAQHqAwA%253D
     
  3. Konstantine

    Konstantine Member Пользователи

    Joined:
    May 7, 2018
    Messages:
    33
    sp=SBSYAQHqAwA%253D это сортировка по просмотрам. без этого параметра картина не поменялась: "We're sorry..." и все как мы любим )
     
  4. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Здравствуйте.

    Анонимные бесплатные прокси уже могут быть в бане Google.
     
  5. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Забыл написать.

    В WIN поддерживаются HTTP/HTTPS/SOCKS4 (не SOCKS5) прокси без авторизации по логин паролю (поддержку авторизации по логин паролю, при необходимости, можно добавить).

    Библиотека Clever Internet Suite поддерживает, насколько я знаю, все типы прокси.
     
  6. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Если будут вопросы, обращайтесь
     
  7. Konstantine

    Konstantine Member Пользователи

    Joined:
    May 7, 2018
    Messages:
    33
    Я добавил прокси в список по Ctrl+r и прожал "Добавить сервера с проверкой/проверить список", из порядка 50 прокси проверку прошли 10 - на них я и тренируюсь. возможно ли, что прокси, которые прошли проверку, все равно находятся в бане?

    я использую прокси без аутинтефикации

    как я понял, прокси с авторизацией вносятся в список в таком виде: login: pass@proxy_ip: port + нужно включить библиотеку CIS в Списке проки и в Настройке НТТР-запросов программы
    или нужно еще что-то сделать?
     
  8. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Ссылки недоступны для гостей

    Достаточно изучить скриншоты с аннотациями.
     
  9. TeslaCo

    TeslaCo Member Пользователи

    Joined:
    Mar 4, 2014
    Messages:
    211
    Здравствуйте,
    доступна ли сейчас функция использования прокси с авторизацией в библиотеке WIN ?
     
  10. sergeychuk1

    sergeychuk1 New Member Пользователи

    Joined:
    May 18, 2020
    Messages:
    12
    Город:
    Chernivci
    Подключите win, укажите файл с проксями, или из буфера в форму вставте, добавить без проверки если норм. (платные). Соблюдите порядок написания login;pass;port;ip. И проверить. Минутное дело )
     
    Last edited: Aug 18, 2021
  11. sergeychuk1

    sergeychuk1 New Member Пользователи

    Joined:
    May 18, 2020
    Messages:
    12
    Город:
    Chernivci
    На youtube нужны хорошие прокси, поиграться с настройками задержки, и потоков чтобы парсило без бана.
     
  12. TeslaCo

    TeslaCo Member Пользователи

    Joined:
    Mar 4, 2014
    Messages:
    211
    В системе помощи указано что не работают прокси с авторизацией в библиотеке WIN, ну и да, конечно же я это проверял лично. Вопрос был к разработчику, есть ли в планах или возможно уже реализовано, и готовится в следующем обновлении появится, а может и вовсе уже есть, но нужно произвести специальную настройку для данной связки.

    PS. вопрос не про ютуб, вопрос про прокси с авторизацией и библиотеку WIN
     
  13. sergeychuk1

    sergeychuk1 New Member Пользователи

    Joined:
    May 18, 2020
    Messages:
    12
    Город:
    Chernivci
    Не поддерживается в win )
     
    Last edited: Aug 21, 2021
  14. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Нет, WININET не работает с несколькими типами прокси. Используйте библиотеку Clever Internet Suite (CIS). Она работает со всеми типами прокси, включая IpV6...
     

Share This Page