为什么 numpy 的 fromiter 函数需要指定 dtype 而其他数组创建例程不需要？

Question

为了提高内存效率，我一直在努力将我的一些代码从列表转换为 generators/iterators。我发现很多情况下，我只是将我制作的列表转换为具有代码模式 np.array(some_list).

的 np.array

值得注意的是，some_list 通常是遍历生成器的列表理解。

我正在研究 np.fromiter 看看我是否可以更直接地使用生成器（而不是必须先将其转换为列表然后将其转换为 numpy 数组），但我注意到np.fromiter 函数，与使用现有数据的任何其他数组创建例程不同，需要指定 dtype.

在我的大多数特殊情况下，我都能做到这一点（主要是处理对数似然，所以 float64 就可以了），但这让我想知道为什么这只对 fromiter 数组是必需的创建者而不是其他数组创建者。

第一次尝试猜测：

内存预分配？

我的理解是，如果您知道 dtype 和 count，它允许为结果 np.array 预分配内存，并且如果您不指定可选count 论证它将“按需调整输出数组的大小”。但是，如果您不指定计数，您似乎应该能够像在正常的 np.array 调用中一样即时推断 dtype。

数据类型重铸？

我认为这对于将数据重新转换为新的 dtype 很有用，但这也适用于其他数组创建例程，并且似乎值得将放置作为可选但不是必需的参数。

重述问题的几种方法

那为什么要指定dtype才能使用np.fromiter；或者换句话说，如果数组无论如何都要按需调整大小，那么指定 dtype 会带来什么好处？

同一个问题的更微妙的版本，与我的问题更直接相关：我知道 np.ndarray 的许多效率增益在您不断调整它们的大小时都会丢失，那么使用 np.fromiter(generator,dtype=d) 比 np.fromiter([gen_elem for gen_elem in generator],dtype=d) 比 np.array([gen_elem for gen_elem in generator],dtype=d) 有什么好处？

Answer 1

如果此代码是十年前编写的，并且没有更改它的压力，那么旧的原因仍然适用。大多数人都乐于使用 np.array。 np.fromiter 主要供那些试图从生成值的迭代方法中挤出一些速度的人使用。

我的印象是 np.array，主要替代 reads/processes 整个输入，在决定 dtype（和其他属性）之前：

我可以通过更改一个元素来强制浮动 return:

In [395]: np.array([0,1,2,3,4,5])
Out[395]: array([0, 1, 2, 3, 4, 5])
In [396]: np.array([0,1,2,3,4,5,6.])
Out[396]: array([ 0.,  1.,  2.,  3.,  4.,  5.,  6.])

我不经常使用 fromiter，但我的感觉是通过要求 dtype，它可以从一开始就开始将输入转换为该类型。这最终可能会产生更快的迭代，尽管这需要时间测试。

我知道 np.array 普遍性需要一定的时间成本。通常对于小列表，使用列表理解比将其转换为数组更快 - 即使数组操作很快。

一些时间测试：

In [404]: timeit np.fromiter([0,1,2,3,4,5,6.],dtype=int)
100000 loops, best of 3: 3.35 µs per loop
In [405]: timeit np.fromiter([0,1,2,3,4,5,6.],dtype=float)
100000 loops, best of 3: 3.88 µs per loop
In [406]: timeit np.array([0,1,2,3,4,5,6.])
100000 loops, best of 3: 4.51 µs per loop
In [407]: timeit np.array([0,1,2,3,4,5,6])
100000 loops, best of 3: 3.93 µs per loop

差异很小，但表明我的推理是正确的。要求 dtype 有助于使 fromiter 更快。 count 在这个小尺寸上没有区别。

奇怪的是，为 np.array 指定 dtype 会减慢速度。就好像它附加了一个 astype 调用：

In [416]: timeit np.array([0,1,2,3,4,5,6],dtype=float)
100000 loops, best of 3: 6.52 µs per loop
In [417]: timeit np.array([0,1,2,3,4,5,6]).astype(float)
100000 loops, best of 3: 6.21 µs per loop

当我使用 range(1000)（Python3 生成器版本）

时，np.array 和 np.fromiter 之间的差异更加明显

In [430]: timeit np.array(range(1000))
1000 loops, best of 3: 704 µs per loop

实际上，将范围转为列表更快：

In [431]: timeit np.array(list(range(1000)))
1000 loops, best of 3: 196 µs per loop

但 fromiter 仍然更快：

In [432]: timeit np.fromiter(range(1000),dtype=int)
10000 loops, best of 3: 87.6 µs per loop

在整个数组上应用 int 到 float 的转换比在 generation/iteration

期间对每个元素应用转换更快

In [434]: timeit np.fromiter(range(1000),dtype=int).astype(float)
10000 loops, best of 3: 106 µs per loop
In [435]: timeit np.fromiter(range(1000),dtype=float)
1000 loops, best of 3: 189 µs per loop

请注意，astype 调整大小操作并不昂贵，仅需 20 微秒左右。

==============================

array_fromiter(PyObject *NPY_UNUSED(ignored), PyObject *args, PyObject *keywds) 定义于：

https://github.com/numpy/numpy/blob/eeba2cbfa4c56447e36aad6d97e323ecfbdade56/numpy/core/src/multiarray/multiarraymodule.c

它处理 keywds 并调用 PyArray_FromIter(PyObject *obj, PyArray_Descr *dtype, npy_intp count) 在 https://github.com/numpy/numpy/blob/97c35365beda55c6dead8c50df785eb857f843f0/numpy/core/src/multiarray/ctors.c

这会使用定义的 dtype:

创建一个初始数组 ret

ret = (PyArrayObject *)PyArray_NewFromDescr(&PyArray_Type, dtype, 1,
                                            &elcount, NULL,NULL, 0, NULL);

此数组的 data 属性随 50% overallocation => 0, 4, 8, 14, 23, 36, 56, 86 ... 增长，并缩小以适合末尾。

这个数组的dtype，PyArray_DESCR(ret)，显然有一个函数可以接受value（由迭代器next提供），转换它，并在data.

`(PyArray_DESCR(ret)->f->setitem(value, item, ret)`

换句话说，所有的数据类型转换都是由定义的数据类型完成的。如果代码决定 'on the fly' 如何转换 value （以及所有先前分配的），代码会复杂得多。此函数中的大部分代码处理分配 data 缓冲区。

我会暂缓查找 np.array。我敢肯定它要复杂得多。

为什么 numpy 的 fromiter 函数需要指定 dtype 而其他数组创建例程不需要？

Why does numpy's fromiter function require specifying the dtype when other array creation routines don't?

python

arrays

numpy

generator

memory-efficient

第一次尝试猜测：

内存预分配？

数据类型重铸？

重述问题的几种方法