使用 awk 或 sed 消除文本文件中的重复条目
Use awk or sed to eliminate repeat entries in text file
我有一个这样的文本文件...
apples
berries
berries
cherries
我希望它看起来像这样...
apples
berries
cherries
就是这样。我只想消除重复的条目。我更希望它是一个 awk 或 sed "one-liner"，但如果有一些我忽略的其他常见 bash 工具就好了。
sort -u file
如果你不担心输出的顺序。
通过保留顺序删除重复项：
awk '!a[]++' file
这个任务有一个特殊的命令，叫做uniq:
$ uniq file
apples
berries
cherries
这里要求公共线是相邻的，不相邻的相等线不去掉
我有一个这样的文本文件...
apples
berries
berries
cherries
我希望它看起来像这样...
apples
berries
cherries
就是这样。我只想消除重复的条目。我更希望它是一个 awk 或 sed "one-liner"，但如果有一些我忽略的其他常见 bash 工具就好了。
sort -u file
如果你不担心输出的顺序。
通过保留顺序删除重复项：
awk '!a[]++' file
这个任务有一个特殊的命令，叫做uniq:
$ uniq file
apples
berries
cherries
这里要求公共线是相邻的，不相邻的相等线不去掉