从数据框插入配置单元不起作用

Question

我正在尝试使用以下命令将数据框中的记录插入配置单元 tables。命令成功，但目标 table 未加载记录。

mergerdd.write.mode("append").insertInto("db.tablename")

我希望将记录加载到配置单元中 table。

Answer 1

请检查我的解决方案。它对我有用。

df.repartition(1).write.format("csv").insertInto('db.tablename',overwrite=True) # CSV 
df.repartition(1).write.format("orc").insertInto('db.tablename',overwrite=True) # ORC
df.repartition(1).write.format("parquet").insertInto('db.tablename',overwrite=True) #PARQUET

Answer 2

这种方式对我有用 spark.sql

df.coalesce(#numberofoutputfile).createOrReplaceTempView(#temptablename)

spark.sql(f"insert into {db}.{tablename} select * from {temptablename}")

另外 mergerdd 是 rdd 还是 spark 数据帧？

Answer 3

这是实现您想要实现的目标的另一种方法：

df.write.mode("append").saveAsTable("db.tablename")

我一直在用这个，没有任何问题。希望有所帮助。

从数据框插入配置单元不起作用

Insert into hive from dataframe is not working

pyspark

pyspark-sql