如何在数据表框架中按组查找唯一值
How to find unique values by group in datatable Frame
我创建了一个数据表框架如下,
DT_EX = dt.Frame({'cid':[1,2,1,2,3,2,4,2,4,5],
'cust_life_cycle':['Lead','Active','Lead','Active','Inactive','Lead','Active','Lead','Inactive','Lead']})
这里我有三个独特的客户生命周期,每个计数都显示为
DT_EX[:, count(), by(f.cust_life_cycle)]
除此之外,我还有五个客户 ID,这些计数为
DT_EX[:, count(), by(f.cid)]
现在我想看看每个客户生命周期中存在多少个唯一客户 ID,
DT_EX[:, {'unique_cids':dt.unique(f.cid)}, by(f.cust_life_cycle)]
它应该显示为 Lead customer 有 3 个唯一的客户 ID,例如 (1,2,5),Active user 有 2 个唯一的客户 ID,依此类推。
我无法按预期得到它,你能告诉我如何修复它吗?
仅供参考:我已尝试在 R data.table 框架上重现相同的内容,它的工作原理。
DT_EX[, uniqueN(cid), by=cust_life_cycle]
dt.unique
功能不适用于群组(目前)。因此,实现您需要的一种方法是首先按生命周期 + customerID 分组,然后在第二步中仅按生命周期重新分组:
>>> DT_EX[:, count(), by(f.cust_life_cycle, f.cid)]\
... [:, {"unique_cids": count()}, by(f.cust_life_cycle)]
| cust_life_cycle unique_cids
-- + --------------- -----------
0 | Active 2
1 | Inactive 2
2 | Lead 3
[3 rows x 2 columns]
@pasha
我还为我的练习创建了一个自定义函数,如下所示,
def pydt_unique_per_group(DT,by_col,uni_col):
DT_dict = DT[:,(f[by_col],f[uni_col])].to_dict()
pairs = list(zip(DT_dict[by_col], DT_dict[uni_col]))
unique_per_col_dict = {k : list(map(itemgetter(1), v)) for k,v in groupby(sorted(pairs, key=itemgetter(0)), key=itemgetter(0))}
unique_per_col_count = {drink:len(set(ingr)) for drink,ingr in unique_per_col_dict.items()}
unique_per_col_count_sort = {k:v for k,v in sorted(unique_per_col_count.items(),key=lambda x:x[1],reverse=True)}
by_group_summary_dict = {by_col:[],'count':[]}
for k, v in unique_per_col_count_sort.items():
by_group_summary_dict[by_col].append(k)
by_group_summary_dict['count'].append(v)
return dt.Frame(by_group_summary_dict)
输出:
In [8]: pydt_unique_per_group(DT_EX,'cust_life_cycle','cid')
Out[8]:
| cust_life_cycle count
-- + --------------- -----
0 | Lead 3
1 | Active 2
2 | Inactive 2
[3 rows x 2 columns]
我创建了一个数据表框架如下,
DT_EX = dt.Frame({'cid':[1,2,1,2,3,2,4,2,4,5],
'cust_life_cycle':['Lead','Active','Lead','Active','Inactive','Lead','Active','Lead','Inactive','Lead']})
这里我有三个独特的客户生命周期,每个计数都显示为
DT_EX[:, count(), by(f.cust_life_cycle)]
除此之外,我还有五个客户 ID,这些计数为
DT_EX[:, count(), by(f.cid)]
现在我想看看每个客户生命周期中存在多少个唯一客户 ID,
DT_EX[:, {'unique_cids':dt.unique(f.cid)}, by(f.cust_life_cycle)]
它应该显示为 Lead customer 有 3 个唯一的客户 ID,例如 (1,2,5),Active user 有 2 个唯一的客户 ID,依此类推。
我无法按预期得到它,你能告诉我如何修复它吗?
仅供参考:我已尝试在 R data.table 框架上重现相同的内容,它的工作原理。
DT_EX[, uniqueN(cid), by=cust_life_cycle]
dt.unique
功能不适用于群组(目前)。因此,实现您需要的一种方法是首先按生命周期 + customerID 分组,然后在第二步中仅按生命周期重新分组:
>>> DT_EX[:, count(), by(f.cust_life_cycle, f.cid)]\
... [:, {"unique_cids": count()}, by(f.cust_life_cycle)]
| cust_life_cycle unique_cids
-- + --------------- -----------
0 | Active 2
1 | Inactive 2
2 | Lead 3
[3 rows x 2 columns]
@pasha
我还为我的练习创建了一个自定义函数,如下所示,
def pydt_unique_per_group(DT,by_col,uni_col):
DT_dict = DT[:,(f[by_col],f[uni_col])].to_dict()
pairs = list(zip(DT_dict[by_col], DT_dict[uni_col]))
unique_per_col_dict = {k : list(map(itemgetter(1), v)) for k,v in groupby(sorted(pairs, key=itemgetter(0)), key=itemgetter(0))}
unique_per_col_count = {drink:len(set(ingr)) for drink,ingr in unique_per_col_dict.items()}
unique_per_col_count_sort = {k:v for k,v in sorted(unique_per_col_count.items(),key=lambda x:x[1],reverse=True)}
by_group_summary_dict = {by_col:[],'count':[]}
for k, v in unique_per_col_count_sort.items():
by_group_summary_dict[by_col].append(k)
by_group_summary_dict['count'].append(v)
return dt.Frame(by_group_summary_dict)
输出:
In [8]: pydt_unique_per_group(DT_EX,'cust_life_cycle','cid')
Out[8]:
| cust_life_cycle count
-- + --------------- -----
0 | Lead 3
1 | Active 2
2 | Inactive 2
[3 rows x 2 columns]