使用 Spark 从 CSV 获取 header 的最佳解决方案
Optimal solution for getting the header from CSV with Spark
我想知道使用 Spark 从 CSV 文件获取 header 的最佳解决方案是什么？我的方法是：
def getHeader(data: RDD[String]): String = {
data.zipWithIndex().filter(_._2==0).map(x=>x._1).take(1).mkString("")
}
谢谢
只需要取RDD的第一个元素即可。
val header = rdd.take(1)
我想知道使用 Spark 从 CSV 文件获取 header 的最佳解决方案是什么？我的方法是：
def getHeader(data: RDD[String]): String = {
data.zipWithIndex().filter(_._2==0).map(x=>x._1).take(1).mkString("")
}
谢谢
只需要取RDD的第一个元素即可。
val header = rdd.take(1)