Spark Dataframe.write() 完成百分比

Question

我正在尝试将 Dataframe 写入文件。由于数据框很大，我想知道写操作的状态 Progress percentage，因为它会继续执行很长时间。

myDataFrame
    .filter(myFilter)
    .write
    .json(ExportPath)

有没有办法知道写入文件的数据百分比？ 或者至少得到单独完成的分区数？

Answer 1

要进行快速手动检查，您可以在 Spark UI. For a more automated way of accessing the data, either the REST API or the Metrics library 中检查已处理的数据量。