使用 pyspark 将 RDD 转换为 DataFrame

Question

我在 spark 中有一个包含以下数据的文件

属性 ID|位置|价格|卧室|浴室|大小|价格 SQ Ft|状态

我已将此文件读取为 rdd 使用 a=sc.textFile("/FileStore/tables/realestate.txt")

现在我需要将这个rdd转换成dataframe。我正在使用下面提到的命令

d=spark.createDataFrame(a).toDF("Property ID","Location","Price","Bedrooms","Bathrooms","Size","Price SQ Ft","Status")

但是我收到一个错误类型错误：无法推断类型的架构：

Answer 1

可以先拆分列：

d = spark.createDataFrame(a.map(lambda x: x.split('|'))).toDF("Property ID","Location","Price","Bedrooms","Bathrooms","Size","Price SQ Ft","Status")

或者等效地，直接在 RDD 上调用 toDF

d = a.map(lambda x: x.split('|')).toDF(["Property ID","Location","Price","Bedrooms","Bathrooms","Size","Price SQ Ft","Status"])

事实上，我建议为此目的使用 Spark CSV reader，它也可以适当地处理 header：

df = spark.read.csv('/FileStore/tables/realestate.txt', header=True, inferSchema=True, sep='|')

Convert RDD to DataFrame using pyspark