Azure Synapse SQL 结果 (pyspark) 存储为 CSV

Question

这可能是一个不常见的问题，我找不到明确的帮助，但是否可以将 PySper SQL 查询结果作为 CSV 直接导出到 Azure Data Lake Storage？

为了添加一些上下文，我有一个突触，我将 PySpark 与 SQL 语句一起使用。我想将查询结果保存为 csv 文件。目前，Pyspark 保存结果会分成多个部分文件。

part-0000....

我已经厌倦了多种方法，但所有方法都给我相同的结果

df.write.format("csv").option("header", "true").save("abfss://raw@.....dfs.core.windows.net/Reporting/11.csv")
df.write.format("csv").option('header','true').save("abfss://raw@....dfs.core.windows.net/Reporting/xyzz.csv")

此外，csv 文件名用于在 Azure Lake Storage 中创建文件夹，而不是文件名。

Answer 1

我刚发现

df = df.repartition(1)

成功了。唯一就是文件名不受控制

Azure Synapse SQL 结果 (pyspark) 存储为 CSV

Azure Synapse SQL results (pyspark) to store as CSV

pyspark