运行 内存有限的 Python 进程
Running a Python process with limited memory
我们有一个 Python 命令行实用程序，可以调用 API 来下载大文件，我们想看看程序在 运行 的机器上的表现如何内存有限（~1 GB 或更少）。
实现此目的的一种选择是使用虚拟化层（Docker 容器或 Vagrant 虚拟盒）创建具有指定内存量的 OS。但我对另一种方法感兴趣。
我想知道是否有一种方法可以限制 Python 进程可用的内存量，这样我就可以 运行 命令行界面使 API调用，但将其限制为最大（比如）512 MB 内存以测试内存不足问题。
寻找 Mac OS X (运行ning 10.14+) 或 Linux.
的解决方案
如果您真的想在 Python 中执行此操作，您可以尝试查看 resource doc，它可以使用 setrlimit() 来设置那里列出的资源的限制，哪个内存是其中之一。不确定这是否有帮助。
使用 setrlimit 设置最大内存大小
根据 ，resource 模块可用于设置 Python 脚本使用的最大虚拟内存量，但需要注意的是 此方法仅适用于基于 Linux 的系统，不适用于基于 BSD 的系统，例如 Mac OS X.
要修改限制，请在您的 Python 脚本中添加对 setrlimit 的以下调用：
resource.setrlimit(resource.RLIMIT_AS, (soft_lim, hard_lim))
（其中 soft/hard 限制是字节单位 - 它们的值通常相等）。
快速示例
这是一个简单的示例，它将内存限制在大约 1 MB，然后由于内存错误无法导入 pandas：
$ python
Python 3.6.9 (default, Nov 7 2019, 10:44:02)
[GCC 8.3.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import resource
>>> print(resource.getrlimit(resource.RLIMIT_AS))
(-1, -1)
>>> resource.setrlimit(resource.RLIMIT_AS, (1000,1000))
>>> import pandas as pd
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "/home/vagrant/.local/lib/python3.6/site-packages/pandas/__init__.py", line 11, in <module>
File "/home/vagrant/.local/lib/python3.6/site-packages/numpy/__init__.py", line 142, in <module>
File "/home/vagrant/.local/lib/python3.6/site-packages/numpy/core/__init__.py", line 24, in <module>
File "<frozen importlib._bootstrap>", line 971, in _find_and_load
File "<frozen importlib._bootstrap>", line 955, in _find_and_load_unlocked
File "<frozen importlib._bootstrap>", line 665, in _load_unlocked
File "<frozen importlib._bootstrap_external>", line 674, in exec_module
File "<frozen importlib._bootstrap_external>", line 779, in get_code
File "<frozen importlib._bootstrap_external>", line 487, in _compile_bytecode
MemoryError
MemoryError
为什么这在 BSD 系统上不起作用？
如果您查看 getrlimit 或 setrlimit 的手册页，您将看到 RLIMIT_* 个变量的列表 - 但 BSD 和 [=48= 之间的列表不同]. Linux getrlimit/setrlimit man page lists RLIMIT_AS, but the BSD getrlimit/setrlimit man page 没有列出任何用于控制内存量的 RLIMIT 变量。因此，即使 resource.RLIMIT_AS 在 Mac OS X 上的 resource 模块中定义，设置它对内核或进程可用的内存量没有影响.
另见
我们有一个 Python 命令行实用程序，可以调用 API 来下载大文件，我们想看看程序在 运行 的机器上的表现如何内存有限（~1 GB 或更少）。
实现此目的的一种选择是使用虚拟化层（Docker 容器或 Vagrant 虚拟盒）创建具有指定内存量的 OS。但我对另一种方法感兴趣。
我想知道是否有一种方法可以限制 Python 进程可用的内存量，这样我就可以 运行 命令行界面使 API调用，但将其限制为最大（比如）512 MB 内存以测试内存不足问题。
寻找 Mac OS X (运行ning 10.14+) 或 Linux.
的解决方案如果您真的想在 Python 中执行此操作，您可以尝试查看 resource doc，它可以使用 setrlimit() 来设置那里列出的资源的限制，哪个内存是其中之一。不确定这是否有帮助。
使用 setrlimit 设置最大内存大小
根据 resource 模块可用于设置 Python 脚本使用的最大虚拟内存量，但需要注意的是 此方法仅适用于基于 Linux 的系统，不适用于基于 BSD 的系统，例如 Mac OS X.
要修改限制，请在您的 Python 脚本中添加对 setrlimit 的以下调用：
resource.setrlimit(resource.RLIMIT_AS, (soft_lim, hard_lim))
（其中 soft/hard 限制是字节单位 - 它们的值通常相等）。
快速示例
这是一个简单的示例，它将内存限制在大约 1 MB，然后由于内存错误无法导入 pandas：
$ python
Python 3.6.9 (default, Nov 7 2019, 10:44:02)
[GCC 8.3.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import resource
>>> print(resource.getrlimit(resource.RLIMIT_AS))
(-1, -1)
>>> resource.setrlimit(resource.RLIMIT_AS, (1000,1000))
>>> import pandas as pd
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "/home/vagrant/.local/lib/python3.6/site-packages/pandas/__init__.py", line 11, in <module>
File "/home/vagrant/.local/lib/python3.6/site-packages/numpy/__init__.py", line 142, in <module>
File "/home/vagrant/.local/lib/python3.6/site-packages/numpy/core/__init__.py", line 24, in <module>
File "<frozen importlib._bootstrap>", line 971, in _find_and_load
File "<frozen importlib._bootstrap>", line 955, in _find_and_load_unlocked
File "<frozen importlib._bootstrap>", line 665, in _load_unlocked
File "<frozen importlib._bootstrap_external>", line 674, in exec_module
File "<frozen importlib._bootstrap_external>", line 779, in get_code
File "<frozen importlib._bootstrap_external>", line 487, in _compile_bytecode
MemoryError
MemoryError
为什么这在 BSD 系统上不起作用？
如果您查看 getrlimit 或 setrlimit 的手册页，您将看到 RLIMIT_* 个变量的列表 - 但 BSD 和 [=48= 之间的列表不同]. Linux getrlimit/setrlimit man page lists RLIMIT_AS, but the BSD getrlimit/setrlimit man page 没有列出任何用于控制内存量的 RLIMIT 变量。因此，即使 resource.RLIMIT_AS 在 Mac OS X 上的 resource 模块中定义，设置它对内核或进程可用的内存量没有影响.
另见