.nonEmpty 方法是 spark scala 中的动作还是转换?
Is .nonEmpty method an action or transformation in spark scala?
.nonEmpty
方法是 spark scala 中的动作还是转换?
例如:
val don = Seq("Hi", "Hello")
if (don.nonEmpty) {
println("Not empty")
}
下面是一个示例,其中.nonEmpty
用于过滤序列,因此它是一个转换,而动作是收集:
val rdd: RDD[Seq[String]] = sparkContext.parallelize(
Seq(Seq("Hi", "Hello"), Seq()))
val NotEmptyRDD = rdd.filter(x => x.nonEmpty)
val notEmptyArray = NotEmptyRDD.collect()
for(element <- notEmptyArray)
System.out.println(element)
.nonEmpty
方法是 spark scala 中的动作还是转换?
例如:
val don = Seq("Hi", "Hello")
if (don.nonEmpty) {
println("Not empty")
}
下面是一个示例,其中.nonEmpty
用于过滤序列,因此它是一个转换,而动作是收集:
val rdd: RDD[Seq[String]] = sparkContext.parallelize(
Seq(Seq("Hi", "Hello"), Seq()))
val NotEmptyRDD = rdd.filter(x => x.nonEmpty)
val notEmptyArray = NotEmptyRDD.collect()
for(element <- notEmptyArray)
System.out.println(element)