Pandas 非常大的矩阵上的交叉表？

Question

我有一个维度数据框（4200 万行，6 列），我需要对其进行交叉表以获取数据集中每个人的特定事件计数，这将导致非常大的稀疏矩阵大小约 150 万行乘以 36,000 列。当我尝试使用 pandas 交叉表 (pd.crosstab) 函数时，我运行系统内存不足。有什么方法可以分块执行此交叉表并加入生成的数据帧吗？需要明确的是，交叉表的每一行将计算数据集中每个人发生事件的次数（即每一行是一个人，每一列条目是该人参与特定事件的次数）。最终目标是使用 PCA/SVD 分解生成的人事矩阵。

Answer 1

设置

source_0 = [*'ABCDEFGHIJ']
source_1 = [*'abcdefghij']

np.random.seed([3, 1415])

df = pd.DataFrame({
    'source_0': np.random.choice(source_0, 100),
    'source_1': np.random.choice(source_1, 100),
})

df

   source_0 source_1
0         A        b
1         C        b
2         H        f
3         D        a
4         I        h
..      ...      ...
95        C        f
96        F        a
97        I        j
98        I        d
99        J        b

使用 pd.factorize 获得整数分解...和唯一值

ij, tups = pd.factorize(list(zip(*map(df.get, df))))
result = dict(zip(tups, np.bincount(ij)))

这已经是一个紧凑的形式。但是您可以将其转换为 pandas.Series 和 unstack 以验证它是我们想要的。

pd.Series(result).unstack(fill_value=0)

   a  b  c  d  e  f  g  h  i  j
A  2  1  0  0  0  1  0  2  1  1
B  0  1  0  0  0  1  0  1  0  1
C  0  3  1  3  0  2  0  0  0  0
D  3  0  0  2  0  0  1  3  0  2
E  3  0  0  1  0  1  2  5  0  0
F  4  0  2  1  1  1  1  1  1  0
G  0  2  1  0  0  2  3  0  3  1
H  1  3  2  0  2  1  1  1  0  2
I  2  2  1  1  2  0  1  2  0  2
J  0  1  1  0  1  1  0  1  0  1

使用sparse

from scipy.sparse import csr_matrix

i, r = pd.factorize(df['source_0'])
j, c = pd.factorize(df['source_1'])
ij, tups = pd.factorize(list(zip(i, j)))

a = csr_matrix((np.bincount(ij), tuple(zip(*tups))))

b = pd.DataFrame.sparse.from_spmatrix(a, r, c).sort_index().sort_index(axis=1)

b

   a  b  c  d  e  f  g  h  i  j
A  2  1  0  0  0  1  0  2  1  1
B  0  1  0  0  0  1  0  1  0  1
C  0  3  1  3  0  2  0  0  0  0
D  3  0  0  2  0  0  1  3  0  2
E  3  0  0  1  0  1  2  5  0  0
F  4  0  2  1  1  1  1  1  1  0
G  0  2  1  0  0  2  3  0  3  1
H  1  3  2  0  2  1  1  1  0  2
I  2  2  1  1  2  0  1  2  0  2
J  0  1  1  0  1  1  0  1  0  1

Pandas 非常大的矩阵上的交叉表？

Pandas crosstab on very large matrix?

python

bigdata

pandas

设置