Массовая обработка CSV

Тема в разделе "Встроенный редактор CSV файлов", создана пользователем faqbill, 6 фев 2017.

  1. faqbill

    faqbill Member Пользователи

    Регистрация:
    3 янв 2011
    Сообщения:
    53
    Здравствуйте. Подскажите пожалуйста, есть ли возможность массово обрабатывать файлы scv одинаковой структуры.

    То есть, есть папка, в папке например 100 файлов сsv, в каждом файле по 50 тысяч строк, они имеют одинаковое количество колонок, строк, все колонки одинаково подписаны.

    Так получается что из какой то колонки надо массово что то удалить или заменить и т.д., и так во всех файлах в каждой колонке. Делаю сейчас по одному файлу, что занимает очень продолжительное время.

    Было бы очень хорошо, например указал папку с файлами, и что бы редактор CSV выполнил все действия со всеми вложенными файлами csv.
     
  2. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Здравствуйте!
    Я бы на вашем месте в сторону макросов екселя смотрел, Все таки контент это не табличный редактор с его возможностями, а лишь оболочка позволяющая частично производить действия с файлом (возможно не прав)
     
    faqbill нравится это.
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Надо разрабатывать спец функционал. Если есть еще какие-то пожелания, помимо функции массовой поиск-замены, пишите, рассмотрим.

    Спасибо!
     
    faqbill нравится это.
  4. faqbill

    faqbill Member Пользователи

    Регистрация:
    3 янв 2011
    Сообщения:
    53
    Думал я об этом, но там очень сложно все это дело, если бы это только под один сайт надо было. Да и встроенного редактор CSV в Content Downloader хватает для каждодневного использования, не надо и навороченного екселя, где простой пользователь от силы использует на 2-3 процента возможностей, и то для простого действия нужны знания и дважды подумать правильно ли все сделал.

    А тут в редакторе все доступно и просто, огромное спасибо автору за такую чудесную программу. Вот только не хватает таких функций как я выше описал, экономило бы просто массу времени. Если сайт очень большой, надо делать массовый импорт, а обычно большие файлы не подходят для такого, проверено на практике могут зависать, или добавлять на сайт частями контент из csv, вот и пригодилась бы такая функция.
     
    Root нравится это.
  5. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Советую почитать этот пример, как раз ваш случай
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
    faqbill нравится это.
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте еще раз!

    Пока, как вариант:
    Парсить все в один большой файл CSV, открывать его во встроенном в программу редакторе CSV, делать над ним нужные манипуляции и потом сохранить его с активной функцией авторазбивки:

    2017-02-08_22-33-05.png

    Может быть такой вариант вас устроит в полной мере?
     
    faqbill нравится это.
  7. faqbill

    faqbill Member Пользователи

    Регистрация:
    3 янв 2011
    Сообщения:
    53
    Спасибо Вам за ответ, а также за такую чудесную программу. Я так и делал, но дело в том, вот как в моем примере, парсится 5-10 миллионов записей, плюс данные еще раскладываются по разным папкам, в итоге получается очень много. Ну тут уже ничего не поделаешь, буду дальше делать как и раньше.
     
    Root нравится это.
  8. Andrey2021

    Andrey2021 New Member Пользователи

    Регистрация:
    21 фев 2021
    Сообщения:
    2
    Доброе время суток, есть ли решение? ...

    1й вопрос: есть 900 файлов CSV c котировками (активов), такого вида = 2014-01-16 00:00:00 UTC,0.000415157,11997265.0,1233290.0 , как можно массово, обработать эти 900 файлов, чтобы разделить столбцы? .
    спасибо,
    присоединяюсь к автору faqbill (супер программа, прям космос);)

    Дополнение: CSV уже готовые загружены, файлами.

    2й вопрос не по теме: зачем при загрузке csv файла с сайта, программа создаёт еще и html документ который содержит files/USD (Historical Data).csv ?


    .. я конечно найду выход и в excel ... но вопрос принципиальный и важный... надеюсь решение пришло, прошло много лет, я плохо искал наверно на форуме... допускаю
     
    Последнее редактирование: 7 июл 2021
  9. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    За пару дней постараюсь сделать решение.
     
    Andrey2021 нравится это.
  10. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Только сейчас удалось сделать функцию.

    Скачать программу Ссылки недоступны для гостей
    Инструкция по функции Ссылки недоступны для гостей
     
    Andrey2021 нравится это.

Поделиться этой страницей