Проблема с парсингом Youtube

Тема в разделе "Решение проблем с использованием программы", создана пользователем kawabunga, 24 ноя 2018.

  1. kawabunga

    kawabunga New Member Пользователи

    Регистрация:
    24 ноя 2018
    Сообщения:
    5
    Город:
    Москва
    Здравствуйте! Давненько не пользовался CD, теперь вот понадобилось распарсить ссылки на каналы по определенным ключевым запросам, но сделать ничего не могу, т.к. при попытке задать границы парсинга страница не отображается, а отображается такое вот сообщение:
    We're sorry...
    ... but your computer or network may be sending automated queries. To protect our users, we can't process your request right now.
    Подскажите, что делать?
     
  2. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    397
    По видимому, Вы работаете из под заспамленного IP
    Попробуйте использовать прокси.
     
    Root нравится это.
  3. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    9.919
    Город:
    Сочи
    citrl+r
     
  4. kawabunga

    kawabunga New Member Пользователи

    Регистрация:
    24 ноя 2018
    Сообщения:
    5
    Город:
    Москва
    Спасибо. Залил список прокси, вроде заработало. Теперь другая проблема :) Как я понял, парсер работает через Microsoft Explorer, и в нем на странице ютуба с видео по запросу внизу есть пагинация. Когда я смотрел на страницу в Хроме, которым пользуюсь, в нем пагинации не было, страница подгружалась по мере прокрутки вниз, и я подумал, что можно спарсить все, что нужно, имитируя прокрутку с помощью WebApp.
    Но не тут-то было :) В МЕ есть пагинация, и ссылки на страницы выглядят примерно так: Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме! , иногда так: Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме! То есть сгенерировать ссылки на страницы 2,3,4 и тд по шаблону не получится. А страниц нужно много. Вопрос: что делать?
     
  5. kawabunga

    kawabunga New Member Пользователи

    Регистрация:
    24 ноя 2018
    Сообщения:
    5
    Город:
    Москва
    А я правильно понимаю, что список прокси не работает при работе с WBApp?
     
  6. kawabunga

    kawabunga New Member Пользователи

    Регистрация:
    24 ноя 2018
    Сообщения:
    5
    Город:
    Москва
    Ну, помогите, пожалуйста. Понимаю, что нубский вопрос, но не получается решить.
     
  7. kawabunga

    kawabunga New Member Пользователи

    Регистрация:
    24 ноя 2018
    Сообщения:
    5
    Город:
    Москва
    Мне нужно-то всего по ключевым запросам спарсить выдачу (название видео, ссылка, название и ссылка на канал)
     

Поделиться этой страницей