pyspark write.parquet() 创建文件夹而不是镶木地板文件
pyspark write.parquet() creates a folder instead of a parquet file
我尝试像这样将 pyspark 数据帧写入镶木地板
df.write.parquet("temp.parquet", mode="overwrite")
但它会创建一个名为 temp.parquet 的空文件夹，而不是 parquet 文件。什么可能导致此问题？
我从 here 下载了 hadoop.dll 并将其添加到 System32 文件夹并解决了问题。
我尝试像这样将 pyspark 数据帧写入镶木地板
df.write.parquet("temp.parquet", mode="overwrite")
但它会创建一个名为 temp.parquet 的空文件夹，而不是 parquet 文件。什么可能导致此问题？
我从 here 下载了 hadoop.dll 并将其添加到 System32 文件夹并解决了问题。