Apache spark java 列的条件替换
Apache spark java conditional replacement of column
我正在尝试用值 Y
替换 Dataset 中的列,如果它包含 X
.
import org.apache.spark.sql.functions.*;
public static void main(String[] args) {
Dataset<Row> DS;//already created dataset
DS = DS.withColumn(column,when(col(column) === "X", "Y"));
}
在 Eclipse 中出现 The method col(String) undefined
编译错误。我不知道我做错了什么。请帮忙。
functions
是一个 Scala 对象,所以如果你导入 *
它必须是 static
:
import static org.apache.spark.sql.functions.*;
我正在尝试用值 Y
替换 Dataset 中的列,如果它包含 X
.
import org.apache.spark.sql.functions.*;
public static void main(String[] args) {
Dataset<Row> DS;//already created dataset
DS = DS.withColumn(column,when(col(column) === "X", "Y"));
}
在 Eclipse 中出现 The method col(String) undefined
编译错误。我不知道我做错了什么。请帮忙。
functions
是一个 Scala 对象,所以如果你导入 *
它必须是 static
:
import static org.apache.spark.sql.functions.*;