RDD可以从不同的sparkcontext访问吗

Can RDD accessed from diffrent spark context

我是 spark 的新手。是否可以使用在不同的 spark 上下文中定义的 RDD?如果是如何.

即。

我们在 spark context1 中创建一个 hive table t1 的 RDD。

我们能否在不同的 spark 作业中使用(参考)RDD。

RDD 绑定到应用程序,因此不能跨应用程序共享。您只需持久化数据(例如在 HDFS、S3 上)并将其作为 RDD 从其他应用程序读取。

Spark 不支持在两个不同的 sparkcontext 之间共享 RDD,但同样可以使用

a] 快子

b] Apache Ignite:Ignite 提供 igniteContext,您可以使用它来共享 rdds。 IgniteRDD 是本机 Spark RDD 和 DataFrame API 的实现,除了所有标准 RDD 功能外,它还在其他 Spark 作业、应用程序和工作人员之间共享 RDD 的状态。

参考:https://ignite.apache.org/features/igniterdd.html

是的,你可以在 apache ignite 的帮助下做到这一点,所以请完成以下 link https://ignite.apache.org/