如何将 spark DF 保存为 CSV 文件？
How can I save a spark DF as a CSV file?
我有一些 Python 代码循环遍历文件并创建数据框 (DF)。此外，我正在将 Python DF 转换为 Spark DF。这很好用。
# convert python df to spark df and export the spark df
spark_df = spark.createDataFrame(DF)
现在，我正在尝试将 Spark DF 保存为 CSV 文件。
## Write Frame out as Table
spark_df.write.mode("overwrite").save("dbfs:/rawdata/AAA.csv")
上面的代码直接运行，但它没有创建 CSV，或者至少我无法在预期的位置找到它。必须有办法做到这一点！请提供一些指导。谢谢
Spark 在写入数据帧时采用输出目录而不是输出文件的路径，因此您提供的路径“dbfs:/rawdata/AAA.csv”将创建目录 AAA.csv 不是文件。您需要检查目录而不是文件。
在目录中，您将根据执行者的数量获得多个 csv 文件。
我有一些 Python 代码循环遍历文件并创建数据框 (DF)。此外，我正在将 Python DF 转换为 Spark DF。这很好用。
# convert python df to spark df and export the spark df
spark_df = spark.createDataFrame(DF)
现在，我正在尝试将 Spark DF 保存为 CSV 文件。
## Write Frame out as Table
spark_df.write.mode("overwrite").save("dbfs:/rawdata/AAA.csv")
上面的代码直接运行，但它没有创建 CSV，或者至少我无法在预期的位置找到它。必须有办法做到这一点！请提供一些指导。谢谢
Spark 在写入数据帧时采用输出目录而不是输出文件的路径，因此您提供的路径“dbfs:/rawdata/AAA.csv”将创建目录 AAA.csv 不是文件。您需要检查目录而不是文件。
在目录中，您将根据执行者的数量获得多个 csv 文件。