pure python 比 numpy 更快的数据类型转换

Question

请原谅我的无知

如果 numpy 提供了使计算速度更快的矢量化操作，那么纯 python 的数据类型转换是如何快将近 8 倍的？

例如

a = np.random.randint(0,500,100).astype(str)
b = np.random.randint(0,500,100).astype(str)
c = np.random.randint(0,500,100).astype(str)

def A(a,b,c):
    for i,j,k in zip(a,b,c):
        d,e,f = int(i), int(j), int(k)
        r = d+e-f
    return 

def B(a,b,c):
    for i,j,k in zip(a,b,c):
        d,e,f  = np.array([i,j,k]).astype(int)
        r = d+e-f
    return

然后，

%%timeit 
A(a,b,c)

每个循环 249 µs ± 3.13 µs（7 次运行的平均值 ± 标准差，每次 1000 次循环）

%%timeit
B(a,b,c)

每个循环 1.87 ms ± 4.08 µs（7 次运行的平均值 ± 标准偏差，每次 1000 次循环）

谢谢，爱丽儿

Answer 1

是的，NumPy 确实提供矢量化运算，使计算速度比原始 Python 代码更快。但是，您没有使用它们。

NumPy 旨在跨整个数据集执行操作，而不是跨数据集块执行很多重复操作。后者导致迭代在 Python 级别完成，这将增加运行时间。

您的主要问题是您使用的唯一 "vectorized" 操作是 astype，但您一次将它应用于三个元素，并且仍然像天真的一样循环Python 解决方案。结合在循环的每次迭代中创建 numpy 数组会产生额外开销这一事实，难怪您对 numpy 的尝试速度较慢。

在小数据集上，Python 可以更快，因为 NumPy 有创建数组、将对象传入和传出低级库等的开销。让我们看一下您一次对三个元素使用的转换操作：

%timeit np.array(['1', '2', '3']).astype(int)
5.25 µs ± 89.3 ns per loop (mean ± std. dev. of 7 runs, 100000 loops each)

%timeit np.array(['1', '2', '3'])
1.62 µs ± 42.9 ns per loop (mean ± std. dev. of 7 runs, 1000000 loops each)

超过四分之一的运行时间来自分配数组！将此与您的纯 Python 版本进行比较：

%timeit a, b, c = int('1'), int('2'), int('3')
659 ns ± 50.7 ns per loop (mean ± std. dev. of 7 runs, 1000000 loops each)

因此，如果您仅对这种大小的块进行操作，Python 将击败 NumPy。

但是你有更多的元素而不只是三个，所以 NumPy 可以用来显着加速你的代码，但是你需要改变你处理问题的思维方式.与其关注操作如何应用于单个标量，不如考虑它如何应用于 arrays.

把这个问题向量化，大体思路是：

创建一个包含所有值的数组
通过单个 astype 调用将整个数组转换为 int。
利用逐元素运算将所需的算法应用于数组。

最终看起来像这样：

def vectorized(a, b, c):
    u = np.array([a, b, c]).astype(int)
    return u[0] + u[1] - u[2]

一旦您比较了正确使用 NumPy 的两种方法，您将开始看到性能大幅提升。

def python_loop(a, b, c):
    out = []
    for i,j,k in zip(a,b,c):
        d,e,f = int(i), int(j), int(k)
        out.append(d+e-f)
    return out

a, b, c = np.random.randint(0, 500, (3, 100_000)).astype(str)

In [255]: %timeit vectorized(a, b, c)
181 ms ± 6.07 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)

In [256]: %timeit python_loop(a, b, c)
206 ms ± 7.97 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)

>>> np.array_equal(python_loop(a, b, c), vectorized(a, b, c))
True

从字符串转换为整数并不是 NumPy 比纯 Python 快得多的事情，从时间上可以看出，两者相当接近。但是，通过应用矢量化方法，比较至少更加公平。

pure python 比 numpy 更快的数据类型转换

pure python faster than numpy for data type conversion

python

performance

numpy

vectorization