在没有张量点积的情况下矢量化 numpy 计算
Vectorizing numpy calculation without a tensor dot product
我想用 numpy
对以下数学公式(来自 Table 2 和 this paper 的附录 A)的特定情况进行向量化:
我要计算的情况如下,平方根下的比例因子可以忽略。
项w_kij - w_ij_bar
是一个n x p x p矩阵,其中 n 通常比 p.
大得多
我实现了 2 个解决方案,但都不是特别好:一个涉及双循环,而另一个很快就会用不必要的计算填满内存。
dummy_data = np.random.normal(size=(100, 5, 5))
# approach 1: a double loop
out_hack = np.zeros((5, 5))
for i in range(5):
for j in range(5):
out_hack[i, j] = (dummy_data.T[j, j, :]*dummy_data[:, j, i]).sum()
# approach 2: slicing a diagonal from a tensor dot product
out = np.tensordot(dummy_data.T, dummy_data, axes=1)
out = out.diagonal(0, 0, 2).diagonal(0, 0, 2)
print((out.round(6) == out_hack.round(6)).all())
>>> True
有没有办法在这两种方法之间找到中间立场?
np.einsum
几乎按字面意思翻译 -
np.einsum('kjj,kji->ij',dummy_data,dummy_data)
我想用 numpy
对以下数学公式(来自 Table 2 和 this paper 的附录 A)的特定情况进行向量化:
我要计算的情况如下,平方根下的比例因子可以忽略。
项w_kij - w_ij_bar
是一个n x p x p矩阵,其中 n 通常比 p.
我实现了 2 个解决方案,但都不是特别好:一个涉及双循环,而另一个很快就会用不必要的计算填满内存。
dummy_data = np.random.normal(size=(100, 5, 5))
# approach 1: a double loop
out_hack = np.zeros((5, 5))
for i in range(5):
for j in range(5):
out_hack[i, j] = (dummy_data.T[j, j, :]*dummy_data[:, j, i]).sum()
# approach 2: slicing a diagonal from a tensor dot product
out = np.tensordot(dummy_data.T, dummy_data, axes=1)
out = out.diagonal(0, 0, 2).diagonal(0, 0, 2)
print((out.round(6) == out_hack.round(6)).all())
>>> True
有没有办法在这两种方法之间找到中间立场?
np.einsum
几乎按字面意思翻译 -
np.einsum('kjj,kji->ij',dummy_data,dummy_data)