Проблема при разбивке больших XML YML файлов

Тема в разделе "Решение проблем с использованием программы", создана пользователем sten30, 10 сен 2019.

  1. sten30

    sten30 Active Member Пользователи

    Регистрация:
    7 авг 2014
    Сообщения:
    228
    Не получается использовать разбивку больших XML YML файлов, когда тег разбивки содержит ID.
    Например такой <offer id="8565" available="true">
    Такая конструкция не работает <offer id="{skip}" available="true">


    """Как парсить большие XML YML файлы в CSV
    Ссылки недоступны для гостей
     

    Вложения:

    • yml_new.php.rar
      Размер файла:
      205,4 КБ
      Просмотров:
      1
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Просто ввести offer (без скобок и прочего).
     
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
  4. sten30

    sten30 Active Member Пользователи

    Регистрация:
    7 авг 2014
    Сообщения:
    228
    Не разбивает этот файл.
     
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Пересохраните файл в кодировке UTF-8. Позже введу опцию для выбора кодировки.
     
  6. Al195

    Al195 Member Пользователи

    Регистрация:
    19 окт 2021
    Сообщения:
    42
    При автоматизации разбиения больших файлов и одновременно добавления проекта в планировщик
    почему-то загрузка и разбиение файла происходит дважды. Проверил на разных проектах и абсолютно пустом
    как загрузка с url так и из папки
     
  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Спасибо.

    Доработал

    Замените файл Content Downloader.exe (в папке с программой) этим файлом:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
    Al195 нравится это.
  8. Al195

    Al195 Member Пользователи

    Регистрация:
    19 окт 2021
    Сообщения:
    42
    Хорошо, спасибо!
     
    Root нравится это.
  9. Al195

    Al195 Member Пользователи

    Регистрация:
    19 окт 2021
    Сообщения:
    42
    Подскажите, после обновления программы на новую версию (как раз пришло обновление)
    доработка не слетит ?
     
  10. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Данная доработка включена в обновления.
     
    Al195 нравится это.
  11. Al195

    Al195 Member Пользователи

    Регистрация:
    19 окт 2021
    Сообщения:
    42
    Спасибо!
    обновляю
     
    Root нравится это.
  12. Al195

    Al195 Member Пользователи

    Регистрация:
    19 окт 2021
    Сообщения:
    42
    Добрый день!
    файл вырос (до 170-190мб работало нормально)
    Ссылки недоступны для гостей
    теперь во время автоматизации виснет то при загрузке, то при разбивке файла
    Out of memory
    Вопрос: может есть какие скрытые резервы для обработки больших файлов
    в настройках или где? интересно проблема из-за веса файла или другое?
    как вариант пока сделал предподготовку скачивания и разделения в split bash
    и тем же составом файлов в парсинг из папки
     

Поделиться этой страницей