Java 返回多个 RDD 的 Spark map 步骤
Java Spark map step returning multiple RDDs
我有一个映射步骤来计算我需要的 RDD。在计算该 RDD 的数据时，可以计算另一个我感兴趣的指标。有没有办法一步完成，或者我是否必须制作一个单独的地图，其功能与第一个地图几乎相同？
谢谢！
是的，你可以，但是保持每个 "map step" 简单将导致代码更具可读性。
请记住，您的 map() 在调用终止函数之前不会执行，因此从性能的角度来看，无论您是一次 map() 还是两次执行此操作都无关紧要连续 map().map() 次通话
...假设您不必考虑数据改组的影响
我有一个映射步骤来计算我需要的 RDD。在计算该 RDD 的数据时，可以计算另一个我感兴趣的指标。有没有办法一步完成，或者我是否必须制作一个单独的地图，其功能与第一个地图几乎相同？
谢谢！
是的，你可以，但是保持每个 "map step" 简单将导致代码更具可读性。
请记住，您的 map() 在调用终止函数之前不会执行，因此从性能的角度来看，无论您是一次 map() 还是两次执行此操作都无关紧要连续 map().map() 次通话
...假设您不必考虑数据改组的影响