spark-solr 中的 spark dataframe union dataframe

Question

我从 solr 查询了很多数据帧。 这些数据框将联合一个数据框

var sub = sc.textFile("file:/home/zeppelin/query_term.txt")

def qmap(filter: String, options: Map[String, String]): DataFrame = {
    val qm = Map(
        "query" -> filter
    )
    val df = sqlContext.read.format("solr").options(options).options(qm).load
    return df
}

val dfs = sub.map(x => qmap(x,subject_options)).reduce((x,y) => x.unionAll(y))

但是，dfs 的计数操作也有一些例外。

请给我一些修复它的方法或想法。 谢谢

Answer 1

替换

var sub = sc.textFile("file:/home/zeppelin/query_term.txt")

和

var sub = sc.textFile("file:/home/zeppelin/query_term.txt").collect