从布尔numpy数组计算每行与其他行的相交列数

Question

我写了一个小程序来从数据库中提取关联规则。但是，现在我想比较提取的规则并计算每个规则相互交叉的属性数。规则条件以布尔 numpy 数组表示，其中每一行都可以视为一个关联规则的先行项。布尔数组的列表示属性，这些属性可能出现在规则的前提中。（“真”表示该属性存在于规则中）。输入数组示例：

encoded_rules = np.array([[True,True,False,False,True],
                         [False,False,True,False,False],
                         [True,True,False,True,True],
                         [False,True,False,False,False]])

所需的输出数组：

[[3 0 3 1]
[0 1 0 0]
[3 0 4 1]
[1 0 1 1]]

如您所见，索引 0 处的规则有 3 个属性，与索引 2 处的规则（具有 4 个属性）相交的属性数为 3。为了实现这个目标，我尝试了多种方法，但我无法弄清楚如何以有效的矢量化方式进行操作。我当前的解决方案是一个 for 循环，其中我使用下限和上限逐步创建输出数组。通过统计属性的出现次数来计算下限和上限。:

encoded_rules = np.array([[True,True,False,False,True],
                         [False,False,True,False,False],
                         [True,True,False,True,True],
                         [False,True,False,False,False]])

rule_count = encoded_rules.shape[0]
rules, attributes = encoded_rules.nonzero()

#empty output array, which gets filled in the for-loop:
rule_mat = np.zeros((rule_count, rule_count), dtype="int")

sort_inds = attributes.argsort()
rules, attributes = rules[sort_inds], attributes[sort_inds]


unique_attributes, counts = np.unique(attributes, return_counts=True)
lower_bound = 0
upper_bound = 0

for attribute in unique_attributes:
    upper_bound += counts[attribute]
    intersecting_rules = rules[lower_bound:upper_bound]
    rule_mat[intersecting_rules[:,None], intersecting_rules] +=1
    lower_bound += counts[attribute]

print(rule_mat)

我正在处理一个非常大的数组（包含编码规则的数组的维度约为 18.000 行 x 42 列，平均每行有 5-6 列，其值计算为“真”）所以在我的系统上这个过程大约需要 4 秒。（每次迭代几乎 0.1 秒）。根据数据的不同，数组甚至可以变大。

我现在想要实现的是摆脱for循环。因此我开发了下面的矢量化代码。不幸的是，对于大数组，这种方法比使用 for 循环慢大约 25 倍。矢量化版本的基本思想是计算每个规则之间的逻辑与，然后对列求和：

encoded_rules = np.array([[True,True,False,False,True],
                         [False,False,True,False,False],
                         [True,True,False,True,True],
                         [False,True,False,False,False]])

rule_count = encoded_rules.shape[0]
encoded_rules_3d = np.stack([encoded_rules]*rule_count, axis=0)
rule_mat = encoded_rules_3d & encoded_rules[:,None]
rule_mat = rule_mat.sum(axis=2)

print(rule_mat)

有人知道如何加快向量化计算吗？

Answer 1

你可以用简单的线性代数来实现。

假设每个 True 是 1，每个 False 是 0

所以将这个整数矩阵 a 乘以它的转置 a.T 会得到你想要的结果。

当然 numpy 是向量化的。

import numpy as np

a = np.array([[True, True, False, False, True],
              [False, False, True, False, False],
              [True, True, False, True, True],
              [False, True, False, False, False]])

a_int = a.astype(int)
print(a_int @ a_int.T)

[[3 0 3 1]
 [0 1 0 0]
 [3 0 4 1]
 [1 0 1 1]]

从布尔numpy数组计算每行与其他行的相交列数

Calculating number of intersecting columns for each row with each other row from boolean numpy array

python

arrays

numpy

vectorization