在 Scala/Spark 中添加两个数据帧整数值

Question

所以我对 Scala 和 Spark 都不熟悉，所以这可能是个愚蠢的问题...... 我有以下代码：

val sqlContext = new org.apache.spark.sql.SQLContext(sc)
import sqlContext.implicits._

val df = sc.parallelize(List(1,2,3)).toDF();
df.foreach( value => println( value(0) + value(0) ) );

error: type mismatch;
 found   : Any
 required: String

有什么问题吗？我怎么知道"this is an integer not an any"？我尝试了 value(0).toInt 但 "value toInt is not a member of Any"。我尝试了 List(1:Integer, 2:Integer, 3:Integer) 但之后我无法转换为数据帧...

Answer 1

Spark Row 是一个无类型的容器。如果你想提取除 Any 以外的任何内容，你必须在 Row 上使用类型化提取器方法或模式匹配（参见）：

df.rdd.map(value => value.getInt(0) + value.getInt(0)).collect.foreach(println)

在实践中，应该有理由提取这些值。相反，您可以直接在 DataFrame:

上操作

df.select($"_1" + $"_1")

在 Scala/Spark 中添加两个数据帧整数值

addition of two dataframe integer values in Scala/Spark

scala

list

dataframe

apache-spark

apache-spark-sql