Скачать фото

Тема в разделе "Решение различных задач по парсингу", создана пользователем Vitaliy_S, 12 ноя 2020.

  1. Vitaliy_S

    Vitaliy_S Member Пользователи

    Регистрация:
    20 янв 2019
    Сообщения:
    48
    Город:
    Уфа
    Не могу загрузить фото с сайта Ссылки недоступны для гостей
    Например, ссылка Ссылки недоступны для гостей
    Создаю проект, с этой одной ссылкой, контент загружаю через CEF. При задании границ парсинга страница не может загрузиться до конца, отсчет не заканчивается Ссылки недоступны для гостей.
    Я ставлю ограничение на 20 сек Ссылки недоступны для гостей, тогда может загрузиться, через несколько попыток. А может и не загрузится. Что я делаю не так или это сайт такой и это не победить?

    В продолжение к вопросу, у меня есть ссылки на все фото, но сайт не дает скачать, отдает html страницу по прямой ссылке с фото, например Ссылки недоступны для гостей
    В браузере она открывается.
    Делаю новый проект, с прямой ссылкой и загрузкой через CEF. В таком виде загружается html код со ссылкой на картинку/ Задаю границу Ссылки недоступны для гостей
    Ссылку на фото я получаю Ссылки недоступны для гостей
    Добавляю скачивание, видно, что не может скачать, отдает html Ссылки недоступны для гостей
    Делаю автоматическую передачу заголовков Ссылки недоступны для гостей
    Добавляю их в downloadfile Ссылки недоступны для гостей
    Но ничего не выходит ошибка Ссылки недоступны для гостей
    Что делаю не так?

    Подойдет любой вариант либо прямая загрузка по списку фото, либо поиск фото на странице товара и загрузка.

    P.S пробовал Download Master и wget, также не могут скачать фото по прямым ссылкам с этого сайта. Скачивают html файлы.
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Ссылки недоступны для гостей
     
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    С картинками на этом сайте не все так просто.

    Можно рендерить с браузера, но это будет не быстрый парсинг.

    Напишите, с какой периодичностью вам нужно парсить этот сайт?
     
  4. Vitaliy_S

    Vitaliy_S Member Пользователи

    Регистрация:
    20 янв 2019
    Сообщения:
    48
    Город:
    Уфа
    Пока просто разово скачать.
     
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Если готовы профинансировать 2000 рублей (так как ради парсинга одного сайта это не очень интересно делать), возьмусь.

    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
  6. Vitaliy_S

    Vitaliy_S Member Пользователи

    Регистрация:
    20 янв 2019
    Сообщения:
    48
    Город:
    Уфа
    Я сам занимаюсь парсингом и хочется понять, как это обойти и решить, без так сказать извращений )). Впервые за годы парсинга встречаю именно такую проблему.
    CD я редко пользуюсь, в основном Вашим конкурентом, но что-то они подзабили на обновления и доработки и в целом на решение не стандартных проблем. Нужно более плотно осваивать CD.
    Пока с CD придумал такую схему, загружу список URL картинок, дальше сценарием делаю скриншот, имя файла получаю из текущего URL Ссылки недоступны для гостей
    Только почему-то скриншот можно делать из IE, в CEF нет такого пункта.

    Еще хотел попробовать сделать сценарием клик правовой кнопкой мыши и затем сохранить как, но клик почему-то не сработал.
    И не понял Ваш метод по рендеренгу из браузера. В любом случае спасибо.
     
  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    На днях постараюсь сделать
     
  8. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    868
    Знаете толк в извращениях ))
    Используя CEF - нужные данные в коде страницы, в JSONе
     
  9. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Тогда может поясните, как скачать изображения с этого сайта?
     
  10. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Скачайте обновленную сборку (должна быть активная подписка на обновления)

    2020-11-13_11-47-29.png

    2020-11-13_11-47-53.png

    Файл проекта приложил.

    2020-11-13_12-19-24.png

    Если будут вопросы, пишите.
     

    Вложения:

    • ormatek_com.cdp
      Размер файла:
      43,4 КБ
      Просмотров:
      7
  11. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    868
    Получается просто скриншот фото ?!
    хотя в обычном хроме фото скачивается в полном разрешении
     
  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Событие [DOWNLOADIMAGE] (в WBAppCEF) скачивает картинку средствами Chromium. Скачивает любую картинку по ее абсолютному URL (это не скриншот, а скачивание).
     
  13. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Постараюсь к завтрашнему дню доработать проект.
     
  14. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул

    Вложения:

    kagorec нравится это.
  15. Vitaliy_S

    Vitaliy_S Member Пользователи

    Регистрация:
    20 янв 2019
    Сообщения:
    48
    Город:
    Уфа
    Спасибо за оперативную помощь. Подписку продлил, все работает. Я так понимаю, что информация по [DOWNLOADIMAGE] сейчас готовится Ссылки недоступны для гостей или я не нашел это в инструкциях?
    И также не нашел что именно делает ImagesNamingCode
    Еще интересно, что за скрипт вызывается [DOSCRIPT]:Observer, видимо он дает ответ ОК, который потом считывается?
     
  16. Vitaliy_S

    Vitaliy_S Member Пользователи

    Регистрация:
    20 янв 2019
    Сообщения:
    48
    Город:
    Уфа
    И как задать оригинальные имена картинкам?
     
  17. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Ссылки недоступны для гостей

    Пояснения в видео.
     

Поделиться этой страницей