spark RDD saveAsTextFile 不使用指定的文件名
spark RDD saveAsTextFile does not use the specified filename
我有一些这样的代码
wordCounts
.map{ case (word, count) =>
Seq(
word,
count
).mkString("\t")
}
.coalesce(1,true)
.saveAsTextFile("s3n://mybucket/data/myfilename.csv")
但是 myfilename.csv 是在我的 S3 存储桶中创建的一个目录，文件名总是类似于 myfilename.csv/part-00000？有没有办法可以更改我正在写入的文件的名称？谢谢！
我强烈建议您使用 Databrick 的 spark-csv 包在 Spark 中读写 csv 文件。使用此包的（许多）好处之一是它允许您指定输出 csv 文件的名称:)
我有一些这样的代码
wordCounts
.map{ case (word, count) =>
Seq(
word,
count
).mkString("\t")
}
.coalesce(1,true)
.saveAsTextFile("s3n://mybucket/data/myfilename.csv")
但是 myfilename.csv 是在我的 S3 存储桶中创建的一个目录，文件名总是类似于 myfilename.csv/part-00000？有没有办法可以更改我正在写入的文件的名称？谢谢！
我强烈建议您使用 Databrick 的 spark-csv 包在 Spark 中读写 csv 文件。使用此包的（许多）好处之一是它允许您指定输出 csv 文件的名称:)