计算多个数据框中一列的唯一值

Question

是否可以使用 pandas 计算多个数据帧中一列的唯一值？

例子

每个 dataframe 中的

columnname 必须搜索唯一的 values = 'userid'

df1: 1, 2, 3, 4 df2: 1, 2, 3 df3: 5, 6, 7 output = 7

所有数据帧
中第'userid'列的唯一值谢谢！

Answer 1

访问所有数据框中的userId列，然后调用pd.concat和pd.Series.nunique。

df1
   userId
0       1
1       2
2       3
3       4

df2
   userId
0       1
1       2
2       3

df3 
   userId
0       5
1       6
2       7

series_list = [x['userId'] for x in [df1, df2, df3]]
count = pd.concat(series_list).nunique()

count
7

Answer 2

Numpy可以很快，用

In [255]: np.unique(np.hstack([d['userId'].values for d in [df1, df2, df3]])).size
Out[255]: 7

时间

In [251]: [d.shape for d in [df1, df2, df3]]
Out[251]: [(4000, 1), (3000, 1), (3000, 1)]

In [253]: %timeit np.unique(np.hstack([d['userId'].values for d in [df1, df2, df3]])).size
10000 loops, best of 3: 184 µs per loop

In [254]: %timeit pd.concat([x['userId'] for x in [df1, df2, df3]]).nunique()
1000 loops, best of 3: 885 µs per loop

计算多个数据框中一列的唯一值

Count unique values from one column across multiple dataframes

python

unique

dataframe

pandas