基于多列组合R中的数据框行
Combine data frame rows in R based on multiple columns
我在 R 中有一个数据框,每行一个。有时,个人出现在两行,我想根据重复的ID将这些行合并。
问题是,每个人都有多个ID,当一个ID出现两次时,不一定出现在同一列。
这是一个示例数据框:
dat <- data.frame(a = c('cat', 'canine', 'feline', 'dog'),
b = c('feline', 'puppy', 'meower', 'wolf'),
c = c('kitten', 'barker', 'kitty', 'canine'),
d = c('shorthair', 'collie', '', ''),
e = c(1, 5, 3, 8))
> dat
a b c d e
1 cat feline kitten shorthair 1
2 canine puppy barker collie 5
3 feline meower kitty 3
4 dog wolf canine 8
所以第1行和第3行应该合并,因为第1行的IDb
等于第3行的IDa
。同样,第2行的IDa
等于IDc
第 4 行,所以这些行也应该合并。
理想情况下,输出应如下所示。
a.1 b.1 c.1 d.1 e.1 a.2 b.3 c.2 d.2 e.2
1 cat feline kitten shorthair 1 feline meower kitty 3
2 canine puppy barker collie 5 dog wolf canine 8
(请注意,行不是根据空字符串的共享 ID 合并的。)
我对如何做到这一点的想法如下,但我很确定我走错了路,所以它们可能对解决问题没有帮助。
我想我可以为每一行分配一个行ID,然后融化数据。之后,我可以逐行通过。当我发现其中一个 ID 与较早的行匹配的行时(例如,当第 3 行的一个 ID 与第 1 行的一个 ID 匹配时),我将更改当前行的行 ID 的每个实例以匹配较早的行 ID (例如,3 的所有行 ID 都将更改为 1)。
这是我一直在使用的代码:
dat$row.id <- 1:nrow(dat)
library(reshape2)
dat.melt <- melt(dat, id.vars = c('e', 'row.id'))
for (i in 2:nrow(dat.melt)) {
# This next step is just to ignore the empty values
if (grepl('^[[:space:]]*$', dat.melt$value[i])) {
next
}
earlier.instance <- dat.melt$row.id[which(dat.melt$value[1:(i-1)] == dat.melt$value[i])]
if (length(earlier.instance) > 0) {
earlier.row.id <- earlier.instance[1]
dat.melt$row.id[dat.melt$row.id == dat.melt$row.id[i]] <- earlier.row.id
}
}
这种方法有两个问题。
- 可能是第 3 行中的一个 ID 与第 1 行匹配,而第 5 行中的另一个 ID 与第 3 行匹配。在这种情况下,第 3 行和第 5 行的行 ID 都应更改为 1。这意味着按顺序遍历行很重要,这导致我使用 for 循环,而不是 apply 函数。我知道这不是很像 R,而且我使用的大型数据框非常慢。
- 此代码产生以下输出。现在有多行具有相同的
row.id
和 variable
,所以我不知道如何转换它以获得上面显示的那种输出。这里使用dcast
会强制使用聚合函数
输出:
e row.id variable value
1 1 3 a cat
2 5 2 a canine
3 3 3 a feline
4 8 2 a dog
5 1 3 b feline
6 5 2 b puppy
7 3 3 b meower
8 8 2 b wolf
9 1 3 c kitten
10 5 2 c barker
11 3 3 c kitty
12 8 2 c canine
13 1 3 d shorthair
14 5 2 d collie
15 3 3 d
16 8 2 d
这是一个业余尝试。我认为它做了一些你想要的。我扩展了 data.frame(现在是 data.table)两行以提供更好的示例。
此循环创建一个新列 dat$FirstMatchingID
,其中包含来自 dat$e
的最早匹配项的 ID。我这样做只是为了匹配第一列,dat$a
,但我认为它可以很容易地扩展到 b
和 c
。
library(data.table)
dat <- data.table(a = c('cat', 'canine', 'feline', 'dog', 'feline','puppy'),
b = c('feline', 'puppy', 'meower', 'wolf', 'kitten', 'dog'),
c = c('kitten', 'barker', 'kitty', 'canine', 'cat','wolf'),
d = c('shorthair', 'collie', '', '','',''),
e = c(1, 5, 3, 8, 4, 6))
dat[, All := paste(a, b,c),]
for(i in 2:nrow(dat)) {
print(dat[i])
x <- grepl(dat[i]$a, dat[i-(1:i)]$All)
y <- max(which(x %in% TRUE))
dat[i, FirstMatchingID := dat[i-y]$e]
}
结果:
a b c d e All FirstMatchingID
1: cat feline kitten shorthair 1 cat feline kitten NA
2: canine puppy barker collie 5 canine puppy barker NA
3: feline meower kitty 3 feline meower kitty 1
4: dog wolf canine 8 dog wolf canine NA
5: feline kitten cat 4 feline kitten cat 1
6: puppy dog wolf 6 puppy dog wolf 5
然后您必须找出您希望如何组合行以获得您想要的结果,但希望这对您有所帮助!
新答案。通过这个工作有一些乐趣(/挫败感)。我确定这不是最快的解决方案,但它应该可以让您超越我的其他答案停止的地方。让我解释一下:
dat <- data.table(a = c('cat', 'canine', 'feline', 'dog', 'cat','fido'),
b = c('feline', 'puppy', 'meower', 'wolf', 'kitten', 'dog'),
c = c('kit', 'barker', 'kitty', 'canine', 'feline','wolf'),
d = c('shorthair', 'collie', '', '','',''),
e = c(1, 2, 3, 4, 5, 6))
dat[, All := paste(a, b,c),]
两个变化:dat$e
现在是一个索引列,所以它只是它所在行的数字位置。如果 e
在其他方面很重要,您可以创建一个新列来替换它。
下面是第一个循环。这使得 3 个新列 FirstMatchingID
等。这些与以前一样:它们给出最早(最低行 #)匹配 dat$All
的索引 a
b
和 c
.
for(i in 2:nrow(dat)) {
x <- grepl(dat[i]$a, dat[i-(1:i)]$All)
y <- max(which(x %in% TRUE))
dat[i, FirstMatchingID := dat[i-y]$e]
x2 <- grepl(dat[i]$b, dat[i-(1:i)]$All)
y2 <- max(which(x2 %in% TRUE))
dat[i, SecondMatchingID := dat[i-y2]$e]
x3 <- grepl(dat[i]$c, dat[i-(1:i)]$All)
y3 <- max(which(x3 %in% TRUE))
dat[i, ThirdMatchingID := dat[i-y3]$e]
}
接下来,我们使用pmin
找到第MatchingID
列中最早匹配的行,并将其设置在自己的列中。这是为了防止您在第 25 行中匹配 a
并在第 12 行中匹配 b
;它会给你 12(根据你的问题,我假设这是你想要的)。
dat$MinID <- pmin(dat$FirstMatchingID, dat$SecondMatchingID, dat$ThirdMatchingID, na.rm=T)
最后,这个循环将做 3 件事,创建一个 FinalID
列,其中包含来自 e
:
的所有匹配 ID 号
- 其中
MinID
为 NA
(无匹配)设置 FinalID
为 e
- 如果
MinID
是一个数字,找到该行(最早匹配)并检查 its MinID
是否是一个数字;如果不是,则没有较早的匹配项并将 FinalID
设置为 MinID
- 不符合上述条件的行是您的特殊情况,其中行
i
的最早匹配项本身有一个较早的匹配项。这将找到该匹配项并将其设置为 FinalID
.
for (i in 1:nrow(dat)) {
x <- dat[i]$MinID
if (is.na(dat[i]$MinID)) {
dat[i, FinalID := e]
} else if (is.na(dat[x]$MinID)) {
dat[i, FinalID := MinID]
} else dat[i, FinalID := dat[x]$MinID]
}
我认为应该这样做;让我知道事情的后续。我对它的效率或速度没有任何声明。
我在 R 中有一个数据框,每行一个。有时,个人出现在两行,我想根据重复的ID将这些行合并。
问题是,每个人都有多个ID,当一个ID出现两次时,不一定出现在同一列。
这是一个示例数据框:
dat <- data.frame(a = c('cat', 'canine', 'feline', 'dog'),
b = c('feline', 'puppy', 'meower', 'wolf'),
c = c('kitten', 'barker', 'kitty', 'canine'),
d = c('shorthair', 'collie', '', ''),
e = c(1, 5, 3, 8))
> dat
a b c d e
1 cat feline kitten shorthair 1
2 canine puppy barker collie 5
3 feline meower kitty 3
4 dog wolf canine 8
所以第1行和第3行应该合并,因为第1行的IDb
等于第3行的IDa
。同样,第2行的IDa
等于IDc
第 4 行,所以这些行也应该合并。
理想情况下,输出应如下所示。
a.1 b.1 c.1 d.1 e.1 a.2 b.3 c.2 d.2 e.2
1 cat feline kitten shorthair 1 feline meower kitty 3
2 canine puppy barker collie 5 dog wolf canine 8
(请注意,行不是根据空字符串的共享 ID 合并的。)
我对如何做到这一点的想法如下,但我很确定我走错了路,所以它们可能对解决问题没有帮助。
我想我可以为每一行分配一个行ID,然后融化数据。之后,我可以逐行通过。当我发现其中一个 ID 与较早的行匹配的行时(例如,当第 3 行的一个 ID 与第 1 行的一个 ID 匹配时),我将更改当前行的行 ID 的每个实例以匹配较早的行 ID (例如,3 的所有行 ID 都将更改为 1)。
这是我一直在使用的代码:
dat$row.id <- 1:nrow(dat)
library(reshape2)
dat.melt <- melt(dat, id.vars = c('e', 'row.id'))
for (i in 2:nrow(dat.melt)) {
# This next step is just to ignore the empty values
if (grepl('^[[:space:]]*$', dat.melt$value[i])) {
next
}
earlier.instance <- dat.melt$row.id[which(dat.melt$value[1:(i-1)] == dat.melt$value[i])]
if (length(earlier.instance) > 0) {
earlier.row.id <- earlier.instance[1]
dat.melt$row.id[dat.melt$row.id == dat.melt$row.id[i]] <- earlier.row.id
}
}
这种方法有两个问题。
- 可能是第 3 行中的一个 ID 与第 1 行匹配,而第 5 行中的另一个 ID 与第 3 行匹配。在这种情况下,第 3 行和第 5 行的行 ID 都应更改为 1。这意味着按顺序遍历行很重要,这导致我使用 for 循环,而不是 apply 函数。我知道这不是很像 R,而且我使用的大型数据框非常慢。
- 此代码产生以下输出。现在有多行具有相同的
row.id
和variable
,所以我不知道如何转换它以获得上面显示的那种输出。这里使用dcast
会强制使用聚合函数
输出:
e row.id variable value
1 1 3 a cat
2 5 2 a canine
3 3 3 a feline
4 8 2 a dog
5 1 3 b feline
6 5 2 b puppy
7 3 3 b meower
8 8 2 b wolf
9 1 3 c kitten
10 5 2 c barker
11 3 3 c kitty
12 8 2 c canine
13 1 3 d shorthair
14 5 2 d collie
15 3 3 d
16 8 2 d
这是一个业余尝试。我认为它做了一些你想要的。我扩展了 data.frame(现在是 data.table)两行以提供更好的示例。
此循环创建一个新列 dat$FirstMatchingID
,其中包含来自 dat$e
的最早匹配项的 ID。我这样做只是为了匹配第一列,dat$a
,但我认为它可以很容易地扩展到 b
和 c
。
library(data.table)
dat <- data.table(a = c('cat', 'canine', 'feline', 'dog', 'feline','puppy'),
b = c('feline', 'puppy', 'meower', 'wolf', 'kitten', 'dog'),
c = c('kitten', 'barker', 'kitty', 'canine', 'cat','wolf'),
d = c('shorthair', 'collie', '', '','',''),
e = c(1, 5, 3, 8, 4, 6))
dat[, All := paste(a, b,c),]
for(i in 2:nrow(dat)) {
print(dat[i])
x <- grepl(dat[i]$a, dat[i-(1:i)]$All)
y <- max(which(x %in% TRUE))
dat[i, FirstMatchingID := dat[i-y]$e]
}
结果:
a b c d e All FirstMatchingID
1: cat feline kitten shorthair 1 cat feline kitten NA
2: canine puppy barker collie 5 canine puppy barker NA
3: feline meower kitty 3 feline meower kitty 1
4: dog wolf canine 8 dog wolf canine NA
5: feline kitten cat 4 feline kitten cat 1
6: puppy dog wolf 6 puppy dog wolf 5
然后您必须找出您希望如何组合行以获得您想要的结果,但希望这对您有所帮助!
新答案。通过这个工作有一些乐趣(/挫败感)。我确定这不是最快的解决方案,但它应该可以让您超越我的其他答案停止的地方。让我解释一下:
dat <- data.table(a = c('cat', 'canine', 'feline', 'dog', 'cat','fido'),
b = c('feline', 'puppy', 'meower', 'wolf', 'kitten', 'dog'),
c = c('kit', 'barker', 'kitty', 'canine', 'feline','wolf'),
d = c('shorthair', 'collie', '', '','',''),
e = c(1, 2, 3, 4, 5, 6))
dat[, All := paste(a, b,c),]
两个变化:dat$e
现在是一个索引列,所以它只是它所在行的数字位置。如果 e
在其他方面很重要,您可以创建一个新列来替换它。
下面是第一个循环。这使得 3 个新列 FirstMatchingID
等。这些与以前一样:它们给出最早(最低行 #)匹配 dat$All
的索引 a
b
和 c
.
for(i in 2:nrow(dat)) {
x <- grepl(dat[i]$a, dat[i-(1:i)]$All)
y <- max(which(x %in% TRUE))
dat[i, FirstMatchingID := dat[i-y]$e]
x2 <- grepl(dat[i]$b, dat[i-(1:i)]$All)
y2 <- max(which(x2 %in% TRUE))
dat[i, SecondMatchingID := dat[i-y2]$e]
x3 <- grepl(dat[i]$c, dat[i-(1:i)]$All)
y3 <- max(which(x3 %in% TRUE))
dat[i, ThirdMatchingID := dat[i-y3]$e]
}
接下来,我们使用pmin
找到第MatchingID
列中最早匹配的行,并将其设置在自己的列中。这是为了防止您在第 25 行中匹配 a
并在第 12 行中匹配 b
;它会给你 12(根据你的问题,我假设这是你想要的)。
dat$MinID <- pmin(dat$FirstMatchingID, dat$SecondMatchingID, dat$ThirdMatchingID, na.rm=T)
最后,这个循环将做 3 件事,创建一个 FinalID
列,其中包含来自 e
:
- 其中
MinID
为NA
(无匹配)设置FinalID
为e
- 如果
MinID
是一个数字,找到该行(最早匹配)并检查 itsMinID
是否是一个数字;如果不是,则没有较早的匹配项并将FinalID
设置为MinID
- 不符合上述条件的行是您的特殊情况,其中行
i
的最早匹配项本身有一个较早的匹配项。这将找到该匹配项并将其设置为FinalID
.
for (i in 1:nrow(dat)) {
x <- dat[i]$MinID
if (is.na(dat[i]$MinID)) {
dat[i, FinalID := e]
} else if (is.na(dat[x]$MinID)) {
dat[i, FinalID := MinID]
} else dat[i, FinalID := dat[x]$MinID]
}
我认为应该这样做;让我知道事情的后续。我对它的效率或速度没有任何声明。