Linux使用sort和uniq去重
例如去重文件users.csv
使用sort和uniq命令对users.csv进行去重
cat file.txt | sort | uniq > output.txt
读取file.txt文件中的内容,将其排序并去重,然后将结果写入output.txt文件中。其中sort命令是用于排序的,它可以将文件的内容按照字典序排序
对一个文件进行去重操作
sort file.txt | uniq
该命令将读取file.txt文件中的内容,将其排序并去重,然后将结果输出到终端上。
需要注意的是,uniq命令只能去除相邻行的重复项,如果文件中有多行重复的内容不是相邻的,则需要先使用sort命令进行排序,然后再使用uniq命令进行去重