Pandas DataFrame 在 Groupby 两列之后找到最大值并获得计数

Question

我有一个数据框 df 如下：

   userId  pageId  tag
0  3122471  e852   18
1  3122471  f3e2   18
2  3122471  7e93   18
3  3122471  2768    6
4  3122471  53d9    6
5  3122471  06d7   15
6  3122471  e31c   15
7  3122471  c6f3    2
8  1234123  fjwe    1
9  1234123  eiae    4
10 1234123  ieha    4

使用 df.groupby(['userId', 'tag'])['pageId'].count() 按 userId 和标签对数据进行分组后。我会得到：

userId   tag
3122471  2      1
         6      2
         15     2
         18     3
1234123   1     1
          4     2

现在我想找到每个用户拥有最多的标签。如下：

userId   tag
3122471  18
1234123   4

(注意：如果有多个标签的计数相同，我想用一个函数my_rule来决定显示哪个)

Answer 1

按用户 ID 对原始数据帧进行分组

 df.groupby('userId').max()['tag']

或

 df.groupby('userId', as_index=False)['tag'].max()

请注意，第二种解决方案的速度是原来的两倍

%timeit df.groupby('userId').max()['tag']
# 100 loops, best of 3: 5.69 ms per loop
%timeit df.groupby('userId', as_index=False)['tag'].max()
# 100 loops, best of 3: 2.43 ms per loop

Answer 2

我认为你需要 DataFrameGroupBy.size with DataFrameGroupBy.idxmax, but first reset_index:

df = df.groupby(['userId', 'tag'])['pageId'].size()
df = df.reset_index(level='userId')
      .groupby('userId')['pageId'].idxmax().reset_index(name='tag')
print (df)
    userId  tag
0  1234123    4
1  3122471   18

时间:

np.random.seed(123)
N = 100000

df = pd.DataFrame(np.random.randint(1000, size=(N, 3)), columns= ['userId','pageId','tag'])
#print (df)

In [188]: %timeit (df.groupby(['userId', 'tag'], as_index=False)['pageId'].count().groupby('userId').apply(lambda x: x.tag[x.pageId.idxmax()]))
10 loops, best of 3: 180 ms per loop

In [189]: %timeit (df.groupby(['userId', 'tag'])['pageId'].size().reset_index(level='userId').groupby('userId')['pageId'].idxmax())
10 loops, best of 3: 103 ms per loop

VinceP 的解决方案是错误的，因此不包括计时。

Answer 3

您可以处理聚合数据。

In [387]: dff = df.groupby(['userId', 'tag'], as_index=False)['pageId'].count()

In [388]: dff
Out[388]:
    userId  tag  pageId
0  1234123    1       1
1  1234123    4       2
2  3122471    2       1
3  3122471    6       2
4  3122471   15       2
5  3122471   18       3

In [389]: dff.groupby('userId').apply(lambda x: x.tag[x.pageId.idxmax()])
Out[389]:
userId
1234123     4
3122471    18
dtype: int64

Pandas DataFrame 在 Groupby 两列之后找到最大值并获得计数

Pandas DataFrame find the max after Groupby two columns and get counts

python

data-analysis

dataframe

python-3.x

pandas