Select 基于第 1、8 和 9 列值的矩阵第一行与 awk 或 sed
Select matrix first row based on 1st, 8th and 9th column value with awk or sed
我有一些行的第 1、8 和 9 列大部分相同。总行数远远超过 60K。现在我想简化只保留第 1、8 和 9 列相同的第一行。
输入文件：
chr exon_start exon_end cnv tumor_DOC control_DOC rationormalized_after_smoothing CNV_start CNV_end seg_mean
chr1 762097 762270 3 821 717 1.456610215 762097 6706109 1.297328502
chr1 861281 861490 3 101 117 1.29744744 762097 6706109 1.297328502
chr1 7868860 7869039 2 78 119 1.123385189 7796356 8921423 1.088752407
chr1 7869841 7870041 2 140 169 1.123385189 7796356 8921423 1.088752407
chr1 7870411 7870596 2 83 163 1.123385189 7796356 8921423 1.088752407
chr1 7879297 7879467 2 290 360 1.024742732 7796356 8921423 1.088752407
chr1 21012415 21012609 3 89 135 1.230421209 19536504 21054539 1.247494175
chr1 21013924 21014512 3 234 219 1.359224182 19536504 21054539 1.247494175
chr1 21016588 21016803 3 172 179 1.230421209 19536504 21054539 1.247494175
chr1 21024895 21025101 3 147 120 1.230421209 19536504 21054539 1.247494175
chr14 20920169 20920704 3 211 214 1.254261327 20840851 20923828 1.288877208
chr14 20922716 20922919 3 253 262 1.228396526 20840851 20923828 1.288877208
chr14 20923634 20923828 3 188 201 1.206226522 20840851 20923828 1.288877208
chr14 20924141 20924329 2 244 344 0.902299535 20924141 21465086 1.088234038
chr14 20924787 20925701 2 314 306 1.305351797 20924141 21465086 1.088234038
chr14 20926636 20926836 2 134 136 1.206226522 20924141 21465086 1.088234038
期望的输出：
chr exon_start exon_end cnv tumor_DOC control_DOC rationormalized_after_smoothing CNV_start CNV_end seg_mean
chr1 762097 762270 3 821 717 1.456610215 762097 6706109 1.297328502
chr1 7869841 7870041 2 140 169 1.123385189 7796356 8921423 1.088752407
chr1 21024895 21025101 3 147 120 1.230421209 19536504 21054539 1.247494175
chr14 20922716 20922919 3 253 262 1.228396526 20840851 20923828 1.288877208
chr14 20924141 20924329 2 244 344 0.902299535 20924141 21465086 1.088234038
我只为每个具有相似列 1、第 8 列和第 9 列的不同类别保留一行，最好是只要有变化就保留第一行。
如何在 awk、sed 或 R 中实现此目的？
只有一个 awk 行：
awk '!seen[,,]++' file
这会在数组 seen[] 中跟踪给定元组 (field1, field8, field9) 目前出现的次数。当它看到一个时，计数器加一。当该值已经是 1 或更大时，!value 将被评估为 False，因此 awk 将不会打印该行。
第一次：
seen[,,] 是 0（未设置时的默认值）。!0 计算结果为 True，因此打印该行。seen[,,] 递增 1。
下一次：
seen[,,] 等于或大于 1。!1 计算结果为 False，因此该行 未 打印。seen[,,] 递增 1。
测试
$ awk '!seen[,,]++' a
chr exon_start exon_end cnv tumor_DOC control_DOC rationormalized_after_smoothing CNV_start CNV_end seg_mean
chr1 762097 762270 3 821 717 1.456610215 762097 6706109 1.297328502
chr1 7868860 7869039 2 78 119 1.123385189 7796356 8921423 1.088752407
chr1 21012415 21012609 3 89 135 1.230421209 19536504 21054539 1.247494175
chr14 20920169 20920704 3 211 214 1.254261327 20840851 20923828 1.288877208
chr14 20924141 20924329 2 244 344 0.902299535 20924141 21465086 1.088234038
将您的数据导入 R（您将指定文件）：
DF <- read.table(text = "chr exon_start exon_end cnv tumor_DOC control_DOC rationormalized_after_smoothing CNV_start CNV_end seg_mean
chr1 762097 762270 3 821 717 1.456610215 762097 6706109 1.297328502
chr1 861281 861490 3 101 117 1.29744744 762097 6706109 1.297328502
chr1 7868860 7869039 2 78 119 1.123385189 7796356 8921423 1.088752407
chr1 7869841 7870041 2 140 169 1.123385189 7796356 8921423 1.088752407
chr1 7870411 7870596 2 83 163 1.123385189 7796356 8921423 1.088752407
chr1 7879297 7879467 2 290 360 1.024742732 7796356 8921423 1.088752407
chr1 21012415 21012609 3 89 135 1.230421209 19536504 21054539 1.247494175
chr1 21013924 21014512 3 234 219 1.359224182 19536504 21054539 1.247494175
chr1 21016588 21016803 3 172 179 1.230421209 19536504 21054539 1.247494175
chr1 21024895 21025101 3 147 120 1.230421209 19536504 21054539 1.247494175
chr14 20920169 20920704 3 211 214 1.254261327 20840851 20923828 1.288877208
chr14 20922716 20922919 3 253 262 1.228396526 20840851 20923828 1.288877208
chr14 20923634 20923828 3 188 201 1.206226522 20840851 20923828 1.288877208
chr14 20924141 20924329 2 244 344 0.902299535 20924141 21465086 1.088234038
chr14 20924787 20925701 2 314 306 1.305351797 20924141 21465086 1.088234038
chr14 20926636 20926836 2 134 136 1.206226522 20924141 21465086 1.088234038", header = TRUE)
提取第 1、8、9 列与前面的行不重复的行：
DF[!duplicated(DF[, c(1,8,9)]),]
# chr exon_start exon_end cnv tumor_DOC control_DOC rationormalized_after_smoothing CNV_start CNV_end seg_mean
#1 chr1 762097 762270 3 821 717 1.4566102 762097 6706109 1.297329
#3 chr1 7868860 7869039 2 78 119 1.1233852 7796356 8921423 1.088752
#7 chr1 21012415 21012609 3 89 135 1.2304212 19536504 21054539 1.247494
#11 chr14 20920169 20920704 3 211 214 1.2542613 20840851 20923828 1.288877
#14 chr14 20924141 20924329 2 244 344 0.9022995 20924141 21465086 1.088234
我有一些行的第 1、8 和 9 列大部分相同。总行数远远超过 60K。现在我想简化只保留第 1、8 和 9 列相同的第一行。
输入文件：
chr exon_start exon_end cnv tumor_DOC control_DOC rationormalized_after_smoothing CNV_start CNV_end seg_mean
chr1 762097 762270 3 821 717 1.456610215 762097 6706109 1.297328502
chr1 861281 861490 3 101 117 1.29744744 762097 6706109 1.297328502
chr1 7868860 7869039 2 78 119 1.123385189 7796356 8921423 1.088752407
chr1 7869841 7870041 2 140 169 1.123385189 7796356 8921423 1.088752407
chr1 7870411 7870596 2 83 163 1.123385189 7796356 8921423 1.088752407
chr1 7879297 7879467 2 290 360 1.024742732 7796356 8921423 1.088752407
chr1 21012415 21012609 3 89 135 1.230421209 19536504 21054539 1.247494175
chr1 21013924 21014512 3 234 219 1.359224182 19536504 21054539 1.247494175
chr1 21016588 21016803 3 172 179 1.230421209 19536504 21054539 1.247494175
chr1 21024895 21025101 3 147 120 1.230421209 19536504 21054539 1.247494175
chr14 20920169 20920704 3 211 214 1.254261327 20840851 20923828 1.288877208
chr14 20922716 20922919 3 253 262 1.228396526 20840851 20923828 1.288877208
chr14 20923634 20923828 3 188 201 1.206226522 20840851 20923828 1.288877208
chr14 20924141 20924329 2 244 344 0.902299535 20924141 21465086 1.088234038
chr14 20924787 20925701 2 314 306 1.305351797 20924141 21465086 1.088234038
chr14 20926636 20926836 2 134 136 1.206226522 20924141 21465086 1.088234038
期望的输出：
chr exon_start exon_end cnv tumor_DOC control_DOC rationormalized_after_smoothing CNV_start CNV_end seg_mean
chr1 762097 762270 3 821 717 1.456610215 762097 6706109 1.297328502
chr1 7869841 7870041 2 140 169 1.123385189 7796356 8921423 1.088752407
chr1 21024895 21025101 3 147 120 1.230421209 19536504 21054539 1.247494175
chr14 20922716 20922919 3 253 262 1.228396526 20840851 20923828 1.288877208
chr14 20924141 20924329 2 244 344 0.902299535 20924141 21465086 1.088234038
我只为每个具有相似列 1、第 8 列和第 9 列的不同类别保留一行，最好是只要有变化就保留第一行。
如何在 awk、sed 或 R 中实现此目的？
只有一个 awk 行：
awk '!seen[,,]++' file
这会在数组 seen[] 中跟踪给定元组 (field1, field8, field9) 目前出现的次数。当它看到一个时，计数器加一。当该值已经是 1 或更大时，!value 将被评估为 False，因此 awk 将不会打印该行。
第一次：
seen[,,]是0（未设置时的默认值）。!0计算结果为 True，因此打印该行。seen[,,]递增 1。
下一次：
seen[,,]等于或大于1。!1计算结果为 False，因此该行 未 打印。seen[,,]递增 1。
测试
$ awk '!seen[,,]++' a
chr exon_start exon_end cnv tumor_DOC control_DOC rationormalized_after_smoothing CNV_start CNV_end seg_mean
chr1 762097 762270 3 821 717 1.456610215 762097 6706109 1.297328502
chr1 7868860 7869039 2 78 119 1.123385189 7796356 8921423 1.088752407
chr1 21012415 21012609 3 89 135 1.230421209 19536504 21054539 1.247494175
chr14 20920169 20920704 3 211 214 1.254261327 20840851 20923828 1.288877208
chr14 20924141 20924329 2 244 344 0.902299535 20924141 21465086 1.088234038
将您的数据导入 R（您将指定文件）：
DF <- read.table(text = "chr exon_start exon_end cnv tumor_DOC control_DOC rationormalized_after_smoothing CNV_start CNV_end seg_mean
chr1 762097 762270 3 821 717 1.456610215 762097 6706109 1.297328502
chr1 861281 861490 3 101 117 1.29744744 762097 6706109 1.297328502
chr1 7868860 7869039 2 78 119 1.123385189 7796356 8921423 1.088752407
chr1 7869841 7870041 2 140 169 1.123385189 7796356 8921423 1.088752407
chr1 7870411 7870596 2 83 163 1.123385189 7796356 8921423 1.088752407
chr1 7879297 7879467 2 290 360 1.024742732 7796356 8921423 1.088752407
chr1 21012415 21012609 3 89 135 1.230421209 19536504 21054539 1.247494175
chr1 21013924 21014512 3 234 219 1.359224182 19536504 21054539 1.247494175
chr1 21016588 21016803 3 172 179 1.230421209 19536504 21054539 1.247494175
chr1 21024895 21025101 3 147 120 1.230421209 19536504 21054539 1.247494175
chr14 20920169 20920704 3 211 214 1.254261327 20840851 20923828 1.288877208
chr14 20922716 20922919 3 253 262 1.228396526 20840851 20923828 1.288877208
chr14 20923634 20923828 3 188 201 1.206226522 20840851 20923828 1.288877208
chr14 20924141 20924329 2 244 344 0.902299535 20924141 21465086 1.088234038
chr14 20924787 20925701 2 314 306 1.305351797 20924141 21465086 1.088234038
chr14 20926636 20926836 2 134 136 1.206226522 20924141 21465086 1.088234038", header = TRUE)
提取第 1、8、9 列与前面的行不重复的行：
DF[!duplicated(DF[, c(1,8,9)]),]
# chr exon_start exon_end cnv tumor_DOC control_DOC rationormalized_after_smoothing CNV_start CNV_end seg_mean
#1 chr1 762097 762270 3 821 717 1.4566102 762097 6706109 1.297329
#3 chr1 7868860 7869039 2 78 119 1.1233852 7796356 8921423 1.088752
#7 chr1 21012415 21012609 3 89 135 1.2304212 19536504 21054539 1.247494
#11 chr14 20920169 20920704 3 211 214 1.2542613 20840851 20923828 1.288877
#14 chr14 20924141 20924329 2 244 344 0.9022995 20924141 21465086 1.088234