如何增加 Jupyter notebook 内存限制?
How to increase Jupyter notebook Memory limit?
我在 windows 10 上使用带有 Python3 的 jupyter notebook。我的电脑有 8GB RAM,至少有 4GB RAM 是空闲的。
但是当我想用这个命令制作一个大小为 6000*6000 的 numpy ndArray 时:
np.zeros((6000, 6000), dtype='float64')
我明白了:Unable to allocate array with shape (6000, 6000) and data type float64
我认为这不会使用超过 100MB 的内存。
我试着改变号码看看会发生什么。我可以制作的最大数组是 (5000,5000)。我在估计我需要多少 RAM 时犯了错误吗?
Jupyter notebook 有默认的内存大小限制。您可以按照以下步骤尝试增加内存限制:
1) 使用命令生成配置文件:
jupyter notebook --generate-config
2) 打开位于 'jupyter' 文件夹内的 jupyter_notebook_config.py 文件并编辑以下内容 属性:
NotebookApp.max_buffer_size = your desired value
请记住删除 属性 值之前的“#”。
3) 保存并 运行 jupyter notebook。
它现在应该使用设置的内存值。
另外,不要忘记从 jupyter 文件夹中 运行 notebook。
或者,您可以使用以下命令 运行 笔记本:
jupyter notebook --NotebookApp.max_buffer_size=your_value
对于 Jupyter,您需要考虑 2 个进程:
- 本地 HTTP 服务器(基于 Tornado)
- 内核进程(通常是本地的,但可以分布并且取决于您的配置)。
max_buffer_size is a Tornado Web Server setting, corresponds to the Maximum amount of incoming data to buffer and defaults to 100MB (104857600). (https://www.tornadoweb.org/en/stable/httpserver.html)
基于此PR,此值似乎已在 Notebook 中增加到 500 MB。
据我所知,Tornado HTTP 服务器不允许定义最大内存,它作为 Python3 进程运行。
对于内核,您应该查看命令定义的内核规范。
可以尝试的选项是
我在 windows 10 上使用带有 Python3 的 jupyter notebook。我的电脑有 8GB RAM,至少有 4GB RAM 是空闲的。
但是当我想用这个命令制作一个大小为 6000*6000 的 numpy ndArray 时:
np.zeros((6000, 6000), dtype='float64')
我明白了:Unable to allocate array with shape (6000, 6000) and data type float64
我认为这不会使用超过 100MB 的内存。 我试着改变号码看看会发生什么。我可以制作的最大数组是 (5000,5000)。我在估计我需要多少 RAM 时犯了错误吗?
Jupyter notebook 有默认的内存大小限制。您可以按照以下步骤尝试增加内存限制:
1) 使用命令生成配置文件:
jupyter notebook --generate-config
2) 打开位于 'jupyter' 文件夹内的 jupyter_notebook_config.py 文件并编辑以下内容 属性:NotebookApp.max_buffer_size = your desired value
请记住删除 属性 值之前的“#”。3) 保存并 运行 jupyter notebook。 它现在应该使用设置的内存值。 另外,不要忘记从 jupyter 文件夹中 运行 notebook。
或者,您可以使用以下命令 运行 笔记本:
jupyter notebook --NotebookApp.max_buffer_size=your_value
对于 Jupyter,您需要考虑 2 个进程:
- 本地 HTTP 服务器(基于 Tornado)
- 内核进程(通常是本地的,但可以分布并且取决于您的配置)。
max_buffer_size is a Tornado Web Server setting, corresponds to the Maximum amount of incoming data to buffer and defaults to 100MB (104857600). (https://www.tornadoweb.org/en/stable/httpserver.html)
基于此PR,此值似乎已在 Notebook 中增加到 500 MB。
据我所知,Tornado HTTP 服务器不允许定义最大内存,它作为 Python3 进程运行。
对于内核,您应该查看命令定义的内核规范。
可以尝试的选项是