скачиваем pdf размером до 20 МБт и оставляем ссылку если больше 20 МБт

Тема в разделе "Решение различных задач по парсингу", создана пользователем Kreol, 22 июн 2020.

  1. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Приветствую!
    Ребята, Возникла такая ситуация.
    Есть сайт с кучей документаций в pdf
    какие-то весят 1 мГб, какие-то 20 мГб, а есть и такие что более 300 мГб, соответсвенно вопрос: МОЖНО ли на лету получив размер файла сделать условие, мы его скачиваем или оставляем в виде ссылки?
     
  2. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    867
    макрос Ссылки недоступны для гостей и его параметр HTTP_QUERY_CONTENT_LENGTH — длина получаемого контента
     
    Kreol и kagorec нравится это.
  3. UpHill

    UpHill New Member Пользователи

    Регистрация:
    31 мар 2019
    Сообщения:
    16
    Адрес:
    Moscow
    Город:
    Moscow
    А у меня воppник тоже вопрос, только кардинально противоположный)))
    если есть файлы которые надо скачать, некоторые по 1м другие 10..... , где 1 а где и 10
    как понимаю парсить нужно с задержкой, но межет есть какой макрос для отложенной загрузки или что-то подобное)))
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Я не думаю, что требуется задержка между загрузками файлов.

    Если это требуется, то воспользуйтесь опцией "пауза между загрузками (мс)" в окне настройки макроса DOWNLOADFILE (shift+ctrl+l).
     
    UpHill нравится это.
  5. UpHill

    UpHill New Member Пользователи

    Регистрация:
    31 мар 2019
    Сообщения:
    16
    Адрес:
    Moscow
    Город:
    Moscow
    да конечно, я понимаю, просто иногда есть проекты которые с [DYNAMICVALUES] там лучше парсить в 1 поток, а если и штук 5 файлов по 100Мб, то тогда процесс превращается в затяжную эпопею))))
    Вот и думал, что отложенная загрузка файлов, была бы неплохой штукой)
     
  6. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    867
    Как вариант парсить двумя проектами
    1) парсит [DYNAMICVALUES] + сохраняет ссылки на скачиваемые файлы
    2) по собранным ссылкам качает файлы
    далее по общему полю url карточки - свести в одну таблицу
     
    UpHill нравится это.
  7. UpHill

    UpHill New Member Пользователи

    Регистрация:
    31 мар 2019
    Сообщения:
    16
    Адрес:
    Moscow
    Город:
    Moscow
    так и приходиться делать в несколько заходов(((
     

Поделиться этой страницей