Linux使用sort和uniq去重

例如去重文件users.csv
使用sort和uniq命令对users.csv进行去重
cat file.txt | sort | uniq > output.txt

读取file.txt文件中的内容,将其排序并去重,然后将结果写入output.txt文件中。其中sort命令是用于排序的,它可以将文件的内容按照字典序排序

对一个文件进行去重操作

sort file.txt | uniq

该命令将读取file.txt文件中的内容,将其排序并去重,然后将结果输出到终端上。

需要注意的是,uniq命令只能去除相邻行的重复项,如果文件中有多行重复的内容不是相邻的,则需要先使用sort命令进行排序,然后再使用uniq命令进行去重

文章作者: Caesar
文章链接: https://pcnto.com/daily-learning/57-linux使用sort去重.html
版权声明: 本博客所有文章除特别声明外,转载请注明来自 Peng blog

如果您喜欢本站,你可以点击主页广告以示支持,谢谢。

广告是本站收益的来源希望您能够谅解。