На сайте постоянно меняются ссылки на изображения

На сайте переодически меняются ссылки на изображения. Ссылка на товар остаётся неизменной. Сайт lampart.ru. Как можно скачать все изображения без дублей не пропустив файлы?

 

Здравствуйте.

Попробуйте

 

Ссылка неизменной только на карточку товара остается, а на изображения меняется вместе с названием файла.
Проблема в том что меняется само название файла.

Можно ли в программе сделать так чтобы ссылка на товар перезагружалась до такой степени, когда не скачает все изображения из определенной границы парсинга ? А потом по одинаковому размеру удалить дубли

 

Прям интересно стало, что за полтергейст
Подскажите, как вы отлавливаете, что ссылка на фото изменилась?
Какая периодичность смены?

 

Какая периодичность я не знаю. Я сделал так: поставил на парсинг 2000 ссылок. из низ 500 были не до конца скаченные. Смотрел через LOG
Я ставил 999 попыток на скачивание ссылки, особо не помогло.
Сам проверял через браузер, заходил на карточку товара, в которой недокачались картинки , бывало сразу прогружалась. и были случаи что первое фото погружалось (первое всегда прогружается) а последующие фото имеют битые ссылки на фото. При нажатии уже на увеличенную версию фото, там ссылки подменяет Javascript на рабочие. Но если перезагружаешь страницу, то в большинстве случаев ссылки всегда рабочие.
Я не знаю зачем это у них так сделано, но так как есть)

 

Файлы

 

Список ссылок которые у меня не прогрузились до конца изображения)

 

Вы через прокси парсите или мобильное соединение?

 

Прокси не использую. User-agent менял. не помогает.