Remove duplicate lines with uniq

Материал из RSU WiKi
Перейти к: навигация, поиск

После сортировки файла вам обычно нужно найти повторяющиеся данные, иначе у вас могут оказаться различные строки, нуждающиеся в удалении дублей. sort и uniq быстро и просто удаляют дублированные записи, проверяя только дублированные или только уникальные данные.

sort myfile.txt | uniq

Показать только уникальные строки:

sort myfile.txt | uniq -u

Показать только дублированные строки:

sort myfile.txt | uniq -d

Посчитать количество тех или иных строк используя опцию -c.

sort myfile.txt | uniq -uc
sort myfile.txt | uniq -dc

Пропустить поля: uniq -f 3 mylogfile. Это может понадобиться для файла журнала для пропуска данных с отметкой времени

Пропустить символы. uniq -s 30 myfile.txt. Пропуск первых 30 символов

Сравнить символы. uniq -w 30 myfile.txt. Сравнение первых 30 символов

References

Личные инструменты
Пространства имён

Варианты
Действия
Навигация
Инструменты