使用 group by 获取 n 个最小值但有重复项

Question

假设我有这样的 pandas DataFrame：

>>> df = pd.DataFrame({'id':[1,1,1,1,1,2,2,2,2,2,2,3,4],'value':[1,1,1,1,3,1,2,2,3,3,4,1,1]})
>>> df
id  value
1      1
1      1
1      1
1      1
1      3
2      1
2      2
2      2
2      3
2      3
2      4
3      1
4      1

我想为每个 id 包括重复项获得一个具有前 2 个（实际上是 n 个值）值的新 DataFrame，如下所示：

   id  value
0   1      1
1   1      1
3   1      1
4   1      1
5   1      3
6   2      1
7   2      2
8   2      2
9   3      1
10  4      1

我试过使用 head() 和 nsmallest() 但我认为它们不会包含重复项。有更好的方法吗？

编辑以明确如果重复项超过 2 个，我希望每个组有 2 个以上的记录

Answer 1

使用DataFrame.drop_duplicates in first step, then get top values and last use DataFrame.merge:

df1 = df.drop_duplicates(['id','value']).sort_values(['id','value']).groupby('id').head(2)
df = df.merge(df1)
print (df)
   id  value
0   1      1
1   1      1
2   1      2
3   1      2
4   2      1
5   2      2
6   2      2
7   3      1
8   4      1

df = pd.DataFrame({'id':[1,1,1,1,1,2,2,2,2,2,2,3,4],'value':[1,1,1,1,3,1,2,2,3,3,4,1,1]})
    
df1 = df.drop_duplicates(['id','value']).sort_values(['id','value']).groupby('id').head(2)
df = df.merge(df1)
print (df)
   id  value
0   1      1
1   1      1
2   1      1
3   1      1
4   1      3
5   2      1
6   2      2
7   2      2
8   3      1
9   4      1

或使用自定义 lambda 函数 GroupBy.transform and filter in boolean indexing:

df = df[df.groupby('id')['value'].transform(lambda x: x.isin(sorted(set(x))[:2]))]
print (df)
    id  value
0    1      1
1    1      1
2    1      2
3    1      2
5    2      1
6    2      2
7    2      2
11   3      1
12   4      1

df = df[df.groupby('id')['value'].transform(lambda x: x.isin(sorted(set(x))[:2]))]
print (df)
    id  value
0    1      1
1    1      1
2    1      1
3    1      1
4    1      3
5    2      1
6    2      2
7    2      2
11   3      1
12   4      1

使用 group by 获取 n 个最小值但有重复项

use group by to get n smallest values but with duplicates

python

greatest-n-per-group

pandas