如何为 Pandas 数据帧指定内存分配？

Question

我正在尝试合并两个大 pandas 数据帧，但它在我的 4GB RAM 笔记本电脑上引发了内存错误，所以我在计算机实验室尝试了 16GB RAM，但它仍然引发了同样的错误（同一行代码崩溃).

我无法解决为什么 pandas 引发相同的错误而不使用 16 GB RAM space。请帮我解决一下。

feature_AtomPairs2DFingerprintCount=pd.read_csv("/home/adarsh/big_data_features/AtomPairs2DFingerprintCount.csv")
feature_AtomPairs2DFingerprinter=pd.read_csv("/home/adarsh/big_data_features/AtomPairs2DFingerprinter.csv")

merged_data_2=pd.merge(feature_AtomPairs2DFingerprinter,feature_AtomPairs2DFingerprintCount,how='left')



MERGED_DATA=pd.read_csv('/home/adarsh/comp_des.csv')


total_merged=pd.merge(MERGED_DATA,merged_data_2,how='left')

Answer 1

resource.getrlimit 调用会告诉您各种系统资源的硬限制和软限制。为了记忆

    soft, hard = resource.getrlimit(resource.RLIMIT_AS)

软限制是一个值，当达到该值时，操作系统通常会限制进程或用信号通知它。硬限制表示软限制值的上限。可以通过适当调用 resource.setrlimit() 来修改软限制。硬限制通常由系统管理员设置的系统范围参数控制。它不能由用户级进程提高，尽管它可以降低。据报道，这适用于 Linux 但不适用于 MacOS 或 Windows，其中两个值都为 returns -1。

我怀疑您运行超过了 OS 的最大进程大小。

如何为 Pandas 数据帧指定内存分配？

How to specify memory allocation for Pandas Dataframes?

python

memory-management

out-of-memory

pandas