使用脚本修改文件以删除重复出现的事件

Question

输入

# FILE:app/src/file1.c, something_over_here
something_over_here
# FILE:app/src/file1.c, something_over_here
something_over_here
# FILE:app/src/file2.c, something_over_here
something_over_here
# FILE:app/src/file2.c, something_over_here
something_over_here
...........

输出

# FILE:app/src/file1.c, something_over_here
something_over_here
# FILE:app/src/file2.c, something_over_here
something_over_here
..........

我有一个输入文件，其中包含重复出现的具有相同文件名的行。我需要删除除每个文件名第一次出现以外的所有内容。我该如何进行？我对脚本不是很熟悉(python/shell)。我需要知道前进的方向。

Answer 1

对您真正想要的东西做出许多假设，尝试：

awk '/^#/ {p=H[]++} !p ' input > output

这只是扫描文件并在看到以“#”开头的行时递增计数器。为每个文件名保留计数器（以注释开头的行中的第 2 列），如果以前看到过最近看到的文件的计数器，则不会打印一行。

使用脚本修改文件以删除重复出现的事件

Modify a file to remove repeated occurances using scripts

shell

file

repeat