`dataframe.write.mode(SaveMode.Overwrite)text(output)` 是否有效 Scala/Spark SQL 语法?
Is `dataframe.write.mode(SaveMode.Overwrite)text(output)` valid Scala/Spark SQL syntax?
所以我打错了 dataframe.write.mode(SaveMode.Overwrite)text(output)
错过了 mode
和 text
之间的一个句点,但是 eclipse 似乎没有抱怨,当我 运行 它通过 Junit 和生产,一切似乎 运行 无一例外地正常,甚至产生正确的输出。我很困惑没有任何错误,我的 Spark DAG 确实显示我的代码已经更改,所以我更困惑了。有任何想法吗?
这就是 Scala 的工作方式。这是 Infix notation
白色 space 不是必需的,因为有括号。
这是一个演示:
scala> val l = List(1,2,3)
l: List[Int] = List(1, 2, 3)
scala> l.take(1)
res4: List[Int] = List(1)
scala> l take 1
res5: List[Int] = List(1)
scala> (l)take 1
res6: List[Int] = List(1)
scala> l.take(2)take(1)
res7: List[Int] = List(1)
所以我打错了 dataframe.write.mode(SaveMode.Overwrite)text(output)
错过了 mode
和 text
之间的一个句点,但是 eclipse 似乎没有抱怨,当我 运行 它通过 Junit 和生产,一切似乎 运行 无一例外地正常,甚至产生正确的输出。我很困惑没有任何错误,我的 Spark DAG 确实显示我的代码已经更改,所以我更困惑了。有任何想法吗?
这就是 Scala 的工作方式。这是 Infix notation
白色 space 不是必需的,因为有括号。 这是一个演示:
scala> val l = List(1,2,3)
l: List[Int] = List(1, 2, 3)
scala> l.take(1)
res4: List[Int] = List(1)
scala> l take 1
res5: List[Int] = List(1)
scala> (l)take 1
res6: List[Int] = List(1)
scala> l.take(2)take(1)
res7: List[Int] = List(1)