将几个变量从 scala / spark-shell 馈送到 hive table
feeding several variables from scala / spark-shell to hive table
我在 scala / spark-shell.
中有 4 个变量
S1 = (a string) = "age"
S2 = (another string) = "school"
D1 = (a double) = 0.50
D2 = (another double) = 0.75
我需要像这样将它喂给蜂巢 table:
因数系数
年龄 0.50
学校 0.75
我能够从 scala/spark-shell 创建 table:
val hiveContext = new org.apache.spark.sql.hive.HiveContext(sc)
//以下作品
hiveContext.sql("create table students_table (factor STRING, coeff FLOAT) stored as orc")
但是,我不知道如何将这些值插入配置单元 table。
我玩过插入和更新语句。
我也玩过数据框。
我也尝试过将数据转储到 hdfs 中的文本文件中(首先将它们转换为 RDD),但格式以这样一种方式出现,我无法将其用作配置单元的饲料 table.
我确信我错过了关于如何做到这一点的整个想法。
真诚感谢任何帮助。
val input = sc.parallelize(Array((s1,D1), (s2, D2)))
case class StudentTable(factor : String, coeff : Double)
import sqlContext.implicits._
val df = input.map(x=>StudentTable(x._1, x._2)).toDF
df.saveAsTable("students_table", org.apache.spark.sql.SaveMode.Append)
我在 scala / spark-shell.
中有 4 个变量S1 = (a string) = "age"
S2 = (another string) = "school"
D1 = (a double) = 0.50
D2 = (another double) = 0.75
我需要像这样将它喂给蜂巢 table:
因数系数
年龄 0.50
学校 0.75
我能够从 scala/spark-shell 创建 table:
val hiveContext = new org.apache.spark.sql.hive.HiveContext(sc)
//以下作品
hiveContext.sql("create table students_table (factor STRING, coeff FLOAT) stored as orc")
但是,我不知道如何将这些值插入配置单元 table。
我玩过插入和更新语句。 我也玩过数据框。 我也尝试过将数据转储到 hdfs 中的文本文件中(首先将它们转换为 RDD),但格式以这样一种方式出现,我无法将其用作配置单元的饲料 table.
我确信我错过了关于如何做到这一点的整个想法。
真诚感谢任何帮助。
val input = sc.parallelize(Array((s1,D1), (s2, D2)))
case class StudentTable(factor : String, coeff : Double)
import sqlContext.implicits._
val df = input.map(x=>StudentTable(x._1, x._2)).toDF
df.saveAsTable("students_table", org.apache.spark.sql.SaveMode.Append)