如何将 DataFrame 保存到 spark 1.6 中的 csv 文件？

Question

我正在处理一个包含两列的数据框，uni_key 和 createdDate。我 运行 一个 SQL 查询并将结果保存到 a，现在我想将这些结果保存到 csv 文件中。有什么办法吗？这是一个代码片段：

import sys
from pyspark import SparkContext
from pyspark.sql import SQLContext, Row
import csv



if len(sys.argv) != 2:

    print("Usage: cleaning_date.py <file>")
    exit(-1)
sc = SparkContext()
sqlContext = SQLContext(sc)
csvfile = sc.textFile("new_311.csv")
key_val = csvfile.mapPartitions(lambda x: csv.reader(x)).map(lambda x: (x[0], x[1]))
result = key_val.filter(lambda x: getDataType(x[1]) == "valid")
myDataFrame = sqlContext.createDataFrame(result, ('uni_key', 'createdDate'))
print(type(myDataFrame))
myDataFrame.registerTempTable("abc")
a = sqlContext.sql("SELECT uni_key FROM abc")
a.show()
# a.write.format("com.databricks.spark.csv").save("l.csv")
a.write.option("header", "true").csv("aaa.csv")
sc.stop()

此代码现在给出以下错误：

AttributeError: 'DataFrameWriter' 对象没有属性 'csv'

Answer 1

Spark 2.0 中引入了内置 CSV 编写器，您显然在使用 Spark 1.x。

或者使用 spark-csv:

df.write.format("com.databricks.spark.csv").save(path)

或将 Spark 更新到最新版本。