Превью Youtube

Тема в разделе "Решения по парсингу популярных сайтов", создана пользователем rdw, 30 окт 2019.

  1. rdw

    rdw New Member Пользователи

    Регистрация:
    31 май 2017
    Сообщения:
    48
    Здравствуйте.
    Пытаюсь собрать с сайта id youtube видео, для того, чтобы потом собирать url картинок-превью, которые у ютуба находятся по адресу Ссылки недоступны для гостей . Границы задал - всё собирается без запинки. Проблема в том, что некоторые видео на этом сайте битые или удалены с ютуба, в результате чего ко мне в файл попадают ссылки на нерабочие превью, выглядят они как стандартная заглушка Ссылки недоступны для гостей. (Кстати, файл не скачивается, браузер говорит "файл не найден")
    Вопрос: как отфильтровывать подобные страницы и сохранять их в отдельный файл?
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Замените файл Content Downloader.exe (в папке с программой) этим файлом:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 42 постов.**
    Для макроса [CHECKENTRY] добавлена возможность использовать [CTEXT]

    Когда выводится "заглушка", картинка не загружается и на месте макроса DOWNLOADFILE после его работы остается пустота.

    С помощью макроса [CHECKENTRY2] проверяете, пустота вернулась или нет:
    Код:
    [CHECKENTRY2([ANYTEXT])]<DOWNLOADFILE>https://img.youtube.com/vi/3F3gXWCvlYtY/hqdefault.jpg</DOWNLOADFILE>[THENTEXT][CTEXT] + другие макросы, когда картинка есть[ELSETEXT]макросы, когда картинки нет[/CHECKENTRY2]
    Далее выполняете нужные действия.
     
  3. rdw

    rdw New Member Пользователи

    Регистрация:
    31 май 2017
    Сообщения:
    48
    Спасибо! В основном разобрался, но с одной проблемой. Сделал так что, если картинка битая, то используя после макроса [ELSETEXT] макрос [SAVETOFILE], сохраняю все границы <CD_GRAN_1!>[CSVCS]<CD_GRAN_2!> в отдельный файлик, чтобы потом уже вручную найти рабочее видео и вручную вставить рабочий id.
    Загвоздка в том, что теперь, при существовании картинки, шаблон скачивает её мне на компьютер в папку с csv файлом экспорта, чего мне совсем не нужно (Это делает уже плагин экспорта на сайте). Я пробовал вставлять после [CTEXT] макрос [SKIPFILESDOWNLOADING], но тогда вообще все файлы пропускаются и ссылки с битыми картинками не сохраняются в отдельный файл. Подскажите пожалуйста как решить эту задачу.
    Код у меня примерно такой вышел:
    Код:
    <CD_GRAN_1!>[CSVCS]<CD_GRAN_2!>[CSVCS][CHECKENTRY2([ANYTEXT])]<DOWNLOADFILE><CD_GRAN_2!></DOWNLOADFILE>[THENTEXT][CTEXT][ELSETEXT][SAVETOFILE:{path}C:\1{/path}specs.csv{add}{nodelete}]<CD_GRAN_1!>[CSVCS]<CD_GRAN_2!>[CSVCS][/SAVETOFILE][/CHECKENTRY2]
     
    Последнее редактирование: 31 окт 2019
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Пожалуйста.

    Тогда вместо DOWNLOADFILE воспользуйтесь макросом GETRESPONSE (он вернет ответ сервера без скачивания файла: 200 или 404).

    Код:
    [GETRESPONSE(HTTP_QUERY_STATUS_CODE)]https://img.youtube.com/vi/3jgSXXaaGiE/hqdefault.jpg[/GETRESPONSE]
     

Поделиться этой страницей