На сайте постоянно меняются ссылки на изображения

Тема в разделе "Скачивание картинок и файлов", создана пользователем Vulkanpro, 31 окт 2018.

  1. Vulkanpro

    Vulkanpro New Member Пользователи

    Регистрация:
    30 окт 2018
    Сообщения:
    6
    Город:
    Москва
    На сайте переодически меняются ссылки на изображения. Ссылка на товар остаётся неизменной. Сайт lampart.ru. Как можно скачать все изображения без дублей не пропустив файлы?
     
  2. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    9.741
    Город:
    Сочи
    Здравствуйте.

    Попробуйте
    2018-10-31_15-17-37.png
     
  3. Vulkanpro

    Vulkanpro New Member Пользователи

    Регистрация:
    30 окт 2018
    Сообщения:
    6
    Город:
    Москва
    Ссылка неизменной только на карточку товара остается, а на изображения меняется вместе с названием файла.
    Проблема в том что меняется само название файла.

    Можно ли в программе сделать так чтобы ссылка на товар перезагружалась до такой степени, когда не скачает все изображения из определенной границы парсинга ? А потом по одинаковому размеру удалить дубли
     
  4. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    328
    Прям интересно стало, что за полтергейст
    Подскажите, как вы отлавливаете, что ссылка на фото изменилась?
    Какая периодичность смены?
     
    kagorec нравится это.
  5. Vulkanpro

    Vulkanpro New Member Пользователи

    Регистрация:
    30 окт 2018
    Сообщения:
    6
    Город:
    Москва
    Какая периодичность я не знаю. Я сделал так: поставил на парсинг 2000 ссылок. из низ 500 были не до конца скаченные. Смотрел через LOG
    Я ставил 999 попыток на скачивание ссылки, особо не помогло.
    Сам проверял через браузер, заходил на карточку товара, в которой недокачались картинки , бывало сразу прогружалась. и были случаи что первое фото погружалось (первое всегда прогружается) а последующие фото имеют битые ссылки на фото. При нажатии уже на увеличенную версию фото, там ссылки подменяет Javascript на рабочие. Но если перезагружаешь страницу, то в большинстве случаев ссылки всегда рабочие.
    Я не знаю зачем это у них так сделано, но так как есть)
     
  6. Vulkanpro

    Vulkanpro New Member Пользователи

    Регистрация:
    30 окт 2018
    Сообщения:
    6
    Город:
    Москва
    Файлы
     

    Вложения:

    • lampart.cdp
      Размер файла:
      83,5 КБ
      Просмотров:
      1
    • 1111.png
      1111.png
      Размер файла:
      201,1 КБ
      Просмотров:
      0
  7. Vulkanpro

    Vulkanpro New Member Пользователи

    Регистрация:
    30 окт 2018
    Сообщения:
    6
    Город:
    Москва
    Список ссылок которые у меня не прогрузились до конца изображения)
     

    Вложения:

    • links.txt
      Размер файла:
      45,7 КБ
      Просмотров:
      1
  8. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    328
    Вы через прокси парсите или мобильное соединение?
     
  9. Vulkanpro

    Vulkanpro New Member Пользователи

    Регистрация:
    30 окт 2018
    Сообщения:
    6
    Город:
    Москва
    Прокси не использую. User-agent менял. не помогает.
     

Поделиться этой страницей