Spark：rdd.count() 和 rdd.write() 正在执行两次转换
Spark: rdd.count() and rdd.write() are executing transformations twice
我正在使用 Apache Spark 从数据库中获取记录，并在进行一些转换后将它们写入 AWS S3。现在我还想计算我正在写入 S3 的记录数以及我正在做的事情
rdd.count() and then
rdd.write()
以这种方式，所有转换都执行两次并产生性能问题。
有什么办法可以在转换执行不会再次执行的情况下实现？
两个动作 - 计数和写入意味着 2 组阅读。
假设是这样的：
val rdd = sc.parallelize(collectedData, 4)
然后添加 .cache:
val rdd = sc.parallelize(collectedData, 4).cache
这通常会避免第二次重读，但并非总是如此。您还可以查看 persist 和级别。当然，缓存也有开销，这取决于游戏中的大小。
Spark 上的 DAG 可视化 UI 将显示绿色线段或点，表示已应用缓存。
我正在使用 Apache Spark 从数据库中获取记录，并在进行一些转换后将它们写入 AWS S3。现在我还想计算我正在写入 S3 的记录数以及我正在做的事情
rdd.count() and then
rdd.write()
以这种方式，所有转换都执行两次并产生性能问题。 有什么办法可以在转换执行不会再次执行的情况下实现？
两个动作 - 计数和写入意味着 2 组阅读。
假设是这样的：
val rdd = sc.parallelize(collectedData, 4)
然后添加 .cache:
val rdd = sc.parallelize(collectedData, 4).cache
这通常会避免第二次重读，但并非总是如此。您还可以查看 persist 和级别。当然，缓存也有开销，这取决于游戏中的大小。
Spark 上的 DAG 可视化 UI 将显示绿色线段或点，表示已应用缓存。