Скачать фото

Тема в разделе "Решение различных задач по парсингу", создана пользователем Vitaliy_S, 12 ноя 2020.

  1. Vitaliy_S

    Vitaliy_S Member Пользователи

    Регистрация:
    20 янв 2019
    Сообщения:
    49
    Симпатии:
    21
    Не могу загрузить фото с сайта Ссылки недоступны для гостей
    Например, ссылка Ссылки недоступны для гостей
    Создаю проект, с этой одной ссылкой, контент загружаю через CEF. При задании границ парсинга страница не может загрузиться до конца, отсчет не заканчивается Ссылки недоступны для гостей.
    Я ставлю ограничение на 20 сек Ссылки недоступны для гостей, тогда может загрузиться, через несколько попыток. А может и не загрузится. Что я делаю не так или это сайт такой и это не победить?

    В продолжение к вопросу, у меня есть ссылки на все фото, но сайт не дает скачать, отдает html страницу по прямой ссылке с фото, например Ссылки недоступны для гостей
    В браузере она открывается.
    Делаю новый проект, с прямой ссылкой и загрузкой через CEF. В таком виде загружается html код со ссылкой на картинку/ Задаю границу Ссылки недоступны для гостей
    Ссылку на фото я получаю Ссылки недоступны для гостей
    Добавляю скачивание, видно, что не может скачать, отдает html Ссылки недоступны для гостей
    Делаю автоматическую передачу заголовков Ссылки недоступны для гостей
    Добавляю их в downloadfile Ссылки недоступны для гостей
    Но ничего не выходит ошибка Ссылки недоступны для гостей
    Что делаю не так?

    Подойдет любой вариант либо прямая загрузка по списку фото, либо поиск фото на странице товара и загрузка.

    P.S пробовал Download Master и wget, также не могут скачать фото по прямым ссылкам с этого сайта. Скачивают html файлы.
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Симпатии:
    3.485
    Ссылки недоступны для гостей
     
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Симпатии:
    3.485
    С картинками на этом сайте не все так просто.

    Можно рендерить с браузера, но это будет не быстрый парсинг.

    Напишите, с какой периодичностью вам нужно парсить этот сайт?
     
  4. Vitaliy_S

    Vitaliy_S Member Пользователи

    Регистрация:
    20 янв 2019
    Сообщения:
    49
    Симпатии:
    21
    Пока просто разово скачать.
     
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Симпатии:
    3.485
    Если готовы профинансировать 2000 рублей (так как ради парсинга одного сайта это не очень интересно делать), возьмусь.

    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
  6. Vitaliy_S

    Vitaliy_S Member Пользователи

    Регистрация:
    20 янв 2019
    Сообщения:
    49
    Симпатии:
    21
    Я сам занимаюсь парсингом и хочется понять, как это обойти и решить, без так сказать извращений )). Впервые за годы парсинга встречаю именно такую проблему.
    CD я редко пользуюсь, в основном Вашим конкурентом, но что-то они подзабили на обновления и доработки и в целом на решение не стандартных проблем. Нужно более плотно осваивать CD.
    Пока с CD придумал такую схему, загружу список URL картинок, дальше сценарием делаю скриншот, имя файла получаю из текущего URL Ссылки недоступны для гостей
    Только почему-то скриншот можно делать из IE, в CEF нет такого пункта.

    Еще хотел попробовать сделать сценарием клик правовой кнопкой мыши и затем сохранить как, но клик почему-то не сработал.
    И не понял Ваш метод по рендеренгу из браузера. В любом случае спасибо.
     
  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Симпатии:
    3.485
    На днях постараюсь сделать
     
  8. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    874
    Симпатии:
    404
    Знаете толк в извращениях ))
    Используя CEF - нужные данные в коде страницы, в JSONе
     
  9. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Симпатии:
    3.485
    Тогда может поясните, как скачать изображения с этого сайта?
     
  10. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Симпатии:
    3.485
    Здравствуйте.

    Скачайте обновленную сборку (должна быть активная подписка на обновления)

    2020-11-13_11-47-29.png

    2020-11-13_11-47-53.png

    Файл проекта приложил.

    2020-11-13_12-19-24.png

    Если будут вопросы, пишите.
     

    Вложения:

    • ormatek_com.cdp
      Размер файла:
      43,4 КБ
      Просмотров:
      7
  11. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    874
    Симпатии:
    404
    Получается просто скриншот фото ?!
    хотя в обычном хроме фото скачивается в полном разрешении
     
  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Симпатии:
    3.485
    Событие [DOWNLOADIMAGE] (в WBAppCEF) скачивает картинку средствами Chromium. Скачивает любую картинку по ее абсолютному URL (это не скриншот, а скачивание).
     
  13. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Симпатии:
    3.485
    Постараюсь к завтрашнему дню доработать проект.
     
  14. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Симпатии:
    3.485

    Вложения:

    kagorec нравится это.
  15. Vitaliy_S

    Vitaliy_S Member Пользователи

    Регистрация:
    20 янв 2019
    Сообщения:
    49
    Симпатии:
    21
    Спасибо за оперативную помощь. Подписку продлил, все работает. Я так понимаю, что информация по [DOWNLOADIMAGE] сейчас готовится Ссылки недоступны для гостей или я не нашел это в инструкциях?
    И также не нашел что именно делает ImagesNamingCode
    Еще интересно, что за скрипт вызывается [DOSCRIPT]:Observer, видимо он дает ответ ОК, который потом считывается?
     
  16. Vitaliy_S

    Vitaliy_S Member Пользователи

    Регистрация:
    20 янв 2019
    Сообщения:
    49
    Симпатии:
    21
    И как задать оригинальные имена картинкам?
     
  17. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Симпатии:
    3.485
    Ссылки недоступны для гостей

    Пояснения в видео.
     

Поделиться этой страницей