Удаление дублей строк в больших txt файлах

Тема в разделе "Поиск решений", создана пользователем TeslaCo, 4 окт 2017.

  1. TeslaCo

    TeslaCo Member Пользователи

    Регистрация:
    4 мар 2014
    Сообщения:
    211
    Требуется удалить дубли строк в текстовом файле более 1гб. Есть ли у кого то решение?
     
  2. Japonec

    Japonec Well-Known Member Пользователи

    Регистрация:
    19 июл 2015
    Сообщения:
    92
    Адрес:
    Kiev
    Penguin Premium Edition можно попробовать, он как раз работает с текстовыми файлами, поиск дублей и другое.
     
    Root и kagorec нравится это.
  3. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    TextPipe Pro отличнейший редактор, с любыми документами работает и текстовиками, дубли темболее уберёт.
     
    Root нравится это.
  4. napserious

    napserious Well-Known Member Пользователи Активирован

    Регистрация:
    16 окт 2015
    Сообщения:
    324
    Можно кинуть txt файл в ексель, хотя там лимит на 1,048,576 строк и 16,384 столбцов, но если у вас меньше данных то норм.
    Еще есть очень крутой txt редактор: Ссылки недоступны для гостей
    По мне так atom это топ + у него куча дополнений (более 6к+ дополнений) можно его подстроить под любой вкус и цвет и под любую задачу.
    Если вы еще и программист и не знаете об этом редакторе то вы многое потеряли.
    Плюс можно его подключить к GitHub-у, так как они тесно связаны, можно сразу из редактора устанавливать всякие фишечки оттуда.
     
  5. gans

    gans Well-Known Member Пользователи

    Регистрация:
    21 апр 2014
    Сообщения:
    309
    Есть ещё хорошая бесплатная софтинка Keyword keeper. Удаляет повторы, создаёт выборки. Не знаю, как насчёт 1 gb, но софтина справлялась с довольно большими файлами.
     
    Последнее редактирование: 18 окт 2017

Поделиться этой страницей