1. Vitaliy_S

    Vitaliy_S Member Пользователи

    Joined:
    Jan 20, 2019
    Messages:
    49
    Город:
    Уфа
    Не могу загрузить фото с сайта Ссылки недоступны для гостей
    Например, ссылка Ссылки недоступны для гостей
    Создаю проект, с этой одной ссылкой, контент загружаю через CEF. При задании границ парсинга страница не может загрузиться до конца, отсчет не заканчивается Ссылки недоступны для гостей.
    Я ставлю ограничение на 20 сек Ссылки недоступны для гостей, тогда может загрузиться, через несколько попыток. А может и не загрузится. Что я делаю не так или это сайт такой и это не победить?

    В продолжение к вопросу, у меня есть ссылки на все фото, но сайт не дает скачать, отдает html страницу по прямой ссылке с фото, например Ссылки недоступны для гостей
    В браузере она открывается.
    Делаю новый проект, с прямой ссылкой и загрузкой через CEF. В таком виде загружается html код со ссылкой на картинку/ Задаю границу Ссылки недоступны для гостей
    Ссылку на фото я получаю Ссылки недоступны для гостей
    Добавляю скачивание, видно, что не может скачать, отдает html Ссылки недоступны для гостей
    Делаю автоматическую передачу заголовков Ссылки недоступны для гостей
    Добавляю их в downloadfile Ссылки недоступны для гостей
    Но ничего не выходит ошибка Ссылки недоступны для гостей
    Что делаю не так?

    Подойдет любой вариант либо прямая загрузка по списку фото, либо поиск фото на странице товара и загрузка.

    P.S пробовал Download Master и wget, также не могут скачать фото по прямым ссылкам с этого сайта. Скачивают html файлы.
     
  2. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Ссылки недоступны для гостей
     
  3. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    С картинками на этом сайте не все так просто.

    Можно рендерить с браузера, но это будет не быстрый парсинг.

    Напишите, с какой периодичностью вам нужно парсить этот сайт?
     
  4. Vitaliy_S

    Vitaliy_S Member Пользователи

    Joined:
    Jan 20, 2019
    Messages:
    49
    Город:
    Уфа
    Пока просто разово скачать.
     
  5. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Если готовы профинансировать 2000 рублей (так как ради парсинга одного сайта это не очень интересно делать), возьмусь.

    Hidden Content:
    **Hidden Content: To see this hidden content your post count must be 1 or greater.**
     
  6. Vitaliy_S

    Vitaliy_S Member Пользователи

    Joined:
    Jan 20, 2019
    Messages:
    49
    Город:
    Уфа
    Я сам занимаюсь парсингом и хочется понять, как это обойти и решить, без так сказать извращений )). Впервые за годы парсинга встречаю именно такую проблему.
    CD я редко пользуюсь, в основном Вашим конкурентом, но что-то они подзабили на обновления и доработки и в целом на решение не стандартных проблем. Нужно более плотно осваивать CD.
    Пока с CD придумал такую схему, загружу список URL картинок, дальше сценарием делаю скриншот, имя файла получаю из текущего URL Ссылки недоступны для гостей
    Только почему-то скриншот можно делать из IE, в CEF нет такого пункта.

    Еще хотел попробовать сделать сценарием клик правовой кнопкой мыши и затем сохранить как, но клик почему-то не сработал.
    И не понял Ваш метод по рендеренгу из браузера. В любом случае спасибо.
     
  7. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    На днях постараюсь сделать
     
  8. inotoxic

    inotoxic Well-Known Member Пользователи

    Joined:
    Sep 13, 2015
    Messages:
    874
    Знаете толк в извращениях ))
    Используя CEF - нужные данные в коде страницы, в JSONе
     
  9. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Тогда может поясните, как скачать изображения с этого сайта?
     
  10. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Здравствуйте.

    Скачайте обновленную сборку (должна быть активная подписка на обновления)

    2020-11-13_11-47-29.png

    2020-11-13_11-47-53.png

    Файл проекта приложил.

    2020-11-13_12-19-24.png

    Если будут вопросы, пишите.
     

    Attached Files:

  11. inotoxic

    inotoxic Well-Known Member Пользователи

    Joined:
    Sep 13, 2015
    Messages:
    874
    Получается просто скриншот фото ?!
    хотя в обычном хроме фото скачивается в полном разрешении
     
  12. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Событие [DOWNLOADIMAGE] (в WBAppCEF) скачивает картинку средствами Chromium. Скачивает любую картинку по ее абсолютному URL (это не скриншот, а скачивание).
     
  13. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Постараюсь к завтрашнему дню доработать проект.
     
  14. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул

    Attached Files:

    kagorec likes this.
  15. Vitaliy_S

    Vitaliy_S Member Пользователи

    Joined:
    Jan 20, 2019
    Messages:
    49
    Город:
    Уфа
    Спасибо за оперативную помощь. Подписку продлил, все работает. Я так понимаю, что информация по [DOWNLOADIMAGE] сейчас готовится Ссылки недоступны для гостей или я не нашел это в инструкциях?
    И также не нашел что именно делает ImagesNamingCode
    Еще интересно, что за скрипт вызывается [DOSCRIPT]:Observer, видимо он дает ответ ОК, который потом считывается?
     
  16. Vitaliy_S

    Vitaliy_S Member Пользователи

    Joined:
    Jan 20, 2019
    Messages:
    49
    Город:
    Уфа
    И как задать оригинальные имена картинкам?
     
  17. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Ссылки недоступны для гостей

    Пояснения в видео.
     

Share This Page