如何逐行加载镶木地板文件

Question

为了在笔记本电脑上保存 space，我通过 dask 将相当大的数据集保存为 parquet 文件。并且想知道是否有一种方法可以逐行读取镶木地板文件。

感谢您的帮助。

Answer 1

您可以使用 fastparquet 库中的 ParquetFile.iter_row_groups 来遍历 parquet 文件的行。