Numpy 张量实现比循环慢

Question

我有两个计算相同指标的函数。一个最终使用列表理解来循环计算，另一个只使用 numpy 张量操作。这些函数采用 (N, 3) 数组，其中 N 是 3D space 中的点数。当 N <~ 3000 时张量函数更快，当 N >~ 3000 时列表理解更快。就 N 而言，两者似乎都具有线性时间复杂度，即两条时间 N 线在 N=~3000 处交叉。

def approximate_area_loop(section, num_area_divisions):        
    n_a_d = num_area_divisions
    interp_vectors = get_section_interp_(section)

    a1 = section[:-1]
    b1 = section[1:]
    a2 = interp_vectors[:-1]
    b2 = interp_vectors[1:]

    c = lambda u: (1 - u) * a1 + u * a2
    d = lambda u: (1 - u) * b1 + u * b2
    x = lambda u, v: (1 - v) * c(u) + v * d(u)

    area = np.sum([np.linalg.norm(np.cross((x((i + 1)/n_a_d, j/n_a_d) - x(i/n_a_d, j/n_a_d)),\
                                           (x(i/n_a_d, (j +1)/n_a_d) - x(i/n_a_d, j/n_a_d))), axis = 1)\
                   for i in range(n_a_d) for j in range(n_a_d)])

    Dt = section[-1, 0] - section[0, 0]
    return area, Dt

def approximate_area_tensor(section, num_area_divisions):
    divisors = np.linspace(0, 1, num_area_divisions + 1)
    interp_vectors = get_section_interp_(section)
    a1 = section[:-1]
    b1 = section[1:]
    a2 = interp_vectors[:-1]
    b2 = interp_vectors[1:]
    c = np.multiply.outer(a1, (1 - divisors)) + np.multiply.outer(a2, divisors) # c_areas_vecs_divs
    d = np.multiply.outer(b1, (1 - divisors)) + np.multiply.outer(b2, divisors) # d_areas_vecs_divs
    x = np.multiply.outer(c, (1 - divisors)) + np.multiply.outer(d, divisors) # x_areas_vecs_Divs_divs
    u = x[:, :, 1:, :-1] - x[:, :, :-1, :-1] # u_areas_vecs_Divs_divs
    v = x[:, :, :-1, 1:] - x[:, :, :-1, :-1] # v_areas_vecs_Divs_divs
    sub_area_norm_vecs = np.cross(u, v, axis = 1) # areas_crosses_Divs_divs
    sub_areas = np.linalg.norm(sub_area_norm_vecs, axis = 1) # areas_Divs_divs (values are now sub areas)
    area = np.sum(sub_areas)
    Dt = section[-1, 0] - section[0, 0]
    return area, Dt

为什么列表理解版本在大 N 时工作得更快？当然张量版本应该更快？我想知道这是否与计算的大小有关，这意味着它太大而无法在缓存中完成？请问我是否没有包含足够的信息，我真的很想查个水落石出。

Answer 1

正如@hpauljs 评论所建议的那样，完全矢量化函数的瓶颈确实在 np.linalg.norm 中。 Norm 仅用于获取轴 1 中包含的所有向量的大小。一个更简单和更快的方法是：

sub_areas = np.sqrt((sub_area_norm_vecs*sub_area_norm_vecs).sum(axis = 1))

这给出了完全相同的结果，并且比循环实现快了 25 倍（即使循环也不使用 linalg.norm）。

Numpy 张量实现比循环慢

Numpy tensor implementation slower than loop

numpy

python-3.x

numpy-ndarray

array-broadcasting