Загружаются не все картинки

Тема в разделе "Скачивание картинок и файлов", создана пользователем prepod, 15 мар 2017.

  1. prepod

    prepod Member Пользователи

    Регистрация:
    14 мар 2017
    Сообщения:
    36
    Всем привет!
    Столкнулся с проблемой - при скачивании загружаются не все картинки (качаю с Юлы youla.io)
    Выглядит как-то так
    [​IMG]
    Ссылки недоступны для гостей
    На всякий случай увеличивал тайм-аут до 50000... Не помогает.
    Подскажите, плиз, в чем может быть проблема?
    Может и-нет "плохой"?

    п.ы. У меня еще один вопрос: http://forum.sbfactory.ru/threads/parsing-ssylok-i-kontenta.4761/
    Посмотрите, пожалуйста
     
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.432
    Адрес:
    Latvia
    Проблема в проекте? Приложите к теме проект и постараемся помочь.
     
  3. prepod

    prepod Member Пользователи

    Регистрация:
    14 мар 2017
    Сообщения:
    36
    Прикладываю проект и немного скринов в выдачей.

    Посмотрите, пожалуйста.
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
    2017-03-15_2030.png

    2017-03-15_2031.png
    2017-03-15_2033.png


    Есть еще одна просьба: настроил скачивание картинок через NIMG с загрузкой в отдельные папки и присвоением имени. Но файл txt с шаблоном выдачи грузится в общую папку. Подскажите, плиз, как настроить сохранение файла в соответствующую папку с картинками?
    Еще один момент)): предполагается ежедневный парсинг результатов за предыдущие сутки. Подскажите, как настроить схему, чтобы при новом парсинге старые папки с сохраненными данными удалялись, а на их место загружались новые, с новыми результатами? (это мой вопрос из другой ветки http://forum.sbfactory.ru/threads/parsing-ssylok-i-kontenta.4761/)
     

    Вложения:

  4. prepod

    prepod Member Пользователи

    Регистрация:
    14 мар 2017
    Сообщения:
    36
    Вот что выводится в логе при предварительном просмотре Ссылки недоступны для гостей


    2017-03-15_2044.png
     
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Хотел помочь, открыл ваш проект, ссылок в нем нет. На чем смотреть проблему - непонятно! Помощь не удалась.
     
  6. prepod

    prepod Member Пользователи

    Регистрация:
    14 мар 2017
    Сообщения:
    36
    Здравствуйте! Спасибо и прошу прощения.
    Проект с ссылками прикрепил.
    Посмотрите, пожалуйста.

    п.с. остался только этот вопрос

    на эти
    Вы, Сергей, мне уже ответили: http://forum.sbfactory.ru/threads/p...ntov-v-odnu-ukazannuju-papku.4761/#post-28164
    Спасибо, сижу, изучаю
     

    Вложения:

  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Подобных проблем я у себя не выявил. Вот отчет:
    2017-03-15_16-39-06.png

    Может быть у вас интернет слабый и картинки просто недокачиваются (из-за ошибки по тайм-ауту). Попробуйте увеличить timeout в окне ctrl+h
    2017-03-15_16-40-01.png

    Если это не поможет, для загрузки картинок используйте макрос DOWNLOADFILE (он имеет несколько попыток загрузки каждой картинки).

    С уважением к вам, Сергей.
     
    prepod нравится это.
  8. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.432
    Адрес:
    Latvia
    Странно что они вообще качались. Сергей в программу похоже внедрил Искусственный интеллект.
    Поправил, предположительно были неправильно указаны повторяющаяся граница 1
     

    Вложения:

    prepod нравится это.
  9. prepod

    prepod Member Пользователи

    Регистрация:
    14 мар 2017
    Сообщения:
    36
    Сергей, kagorec - спасибо за помощь!
    Увеличил скорость и-нета до yota-вского макимума и выставил настройки по тайм-ауту. Пока ошибка остается.
    Поставлю ночью на еще один прогон - посмотрю, как дело пойдет.
    Не получится - попробую с DOWNLOADFILE и отпишусь.
    Хорошая такая головоломка получилась)) Хоть мозги немного по-другому заработали))
    Спасибо вам огромное за помощь!
     
    Root нравится это.
  10. prepod

    prepod Member Пользователи

    Регистрация:
    14 мар 2017
    Сообщения:
    36
    После определенных танцев с бубном вопрос решил так:
    1. изменил схему загрузки с NIMG на DOWNLOADFILE (+DFN)
    2. количество потоков снизил до 1
    3. количество попыток скачивания выставил 10

    Грузится дольше, но зато все без проскоков. Предполагаю, что при глючном инете будет полезно
     
    Root нравится это.

Поделиться этой страницей