scipy.fftpack 的内存使用情况

Question

我在使用 scipy 的 fftpack 执行 ffts 时遇到高内存使用问题。使用模块 memory_profiler:

获得的示例

Line #    Mem usage    Increment   Line Contents
================================================
 4   50.555 MiB    0.000 MiB   @profile
 5                             def test():
 6  127.012 MiB   76.457 MiB       a = np.random.random(int(1e7))
 7  432.840 MiB  305.828 MiB       b = fftpack.fft(a)
 8  891.512 MiB  458.672 MiB       c = fftpack.ifft(b)
 9  585.742 MiB -305.770 MiB       del b, c
10  738.629 MiB  152.887 MiB       b = fftpack.fft(a)
11  891.512 MiB  152.883 MiB       c = fftpack.ifft(b)
12  509.293 MiB -382.219 MiB       del a, b, c
13  547.520 MiB   38.227 MiB       a = np.random.random(int(5e6))
14  700.410 MiB  152.891 MiB       b = fftpack.fft(a)
15  929.738 MiB  229.328 MiB       c = fftpack.ifft(b)
16  738.625 MiB -191.113 MiB       del a, b, c
17  784.492 MiB   45.867 MiB       a = np.random.random(int(6e6))
18  967.961 MiB  183.469 MiB       b = fftpack.fft(a)
19 1243.160 MiB  275.199 MiB       c = fftpack.ifft(b)

我试图理解这里发生的事情：

第 7 行和第 8 行的 fft 和 ifft 分配的内存量超过了它们需要分配给 return 结果的内存量。对于调用 b = fftpack.fft(a)，分配了 305 MiB。 b 数组所需的内存量为 16 B/value * 1e7 values = 160 MiB（每个值 16 B，因为代码为 returning complex128）。似乎 fftpack 正在分配某种类型的工作空间，并且工作空间的大小等于输出数组（？）。
在第 10 行和第 11 行，同样的过程又是运行，但这次内存使用较少，并且更符合我的预期。因此，似乎 fftpack 能够重用工作区。
在第 13-15 行和第 17-19 行执行具有不同的较小输入大小的 fft。在这两种情况下，分配的内存都比需要的多，而且内存似乎没有被重用。

上面报告的内存使用情况与 windows 任务管理器报告的内容一致（准确到我能够阅读这些图表）。如果我编写这样一个具有更大输入大小的脚本，我可以使我的 (windows) 计算机非常慢，表明它正在交换。

第二个例子来说明工作空间分配内存的问题：

factor = 4.5
a = np.random.random(int(factor * 3e7))
start = time()
b = fftpack.fft(a)
c = fftpack.ifft(b)
end = time()
print("Elapsed: {:.4g}".format(end - start))
del a, b, c
print("Finished first fft")

a = np.random.random(int(factor * 2e7))
start = time()
b = fftpack.fft(a)
c = fftpack.ifft(b)
end = time()
print("Elapsed: {:.4g}".format(end - start))
del a, b, c
print("Finished first fft")

代码打印如下：

Elapsed: 17.62
Finished first fft
Elapsed: 38.41
Finished first fft
Filename: ffttest.py

请注意输入大小 较小的第二个 fft 如何花费两倍多的时间 来计算。我注意到在执行此脚本期间我的计算机非常慢（可能是交换）。

问题：

fft 可以就地计算而不需要额外的工作空间是否正确？如果是这样，为什么 fftpack 不这样做？
这里的fftpack有问题吗？即使它需要额外的工作空间，当 fft 是 re运行且输入大小不同时，为什么它不重用它的工作空间？

编辑：

旧的，但可能相关：https://mail.scipy.org/pipermail/scipy-dev/2012-March/017286.html
这是答案吗？ https://github.com/scipy/scipy/issues/5986

Answer 1

这是一个已知问题，是由 fftpack 缓存其计算给定大小的 fft 的策略引起的。该缓存大约与计算的输出一样大，因此如果使用不同输入大小的内存进行大型 ffts，内存消耗可能会变得很大。

这里详细描述问题：

https://github.com/scipy/scipy/issues/5986

Numpy也有类似的问题，正在处理中：

https://github.com/numpy/numpy/pull/7686

scipy.fftpack 的内存使用情况

Memory usage of scipy.fftpack

python

memory

numpy

fft

scipy