从 DataFrameWriter 获取 SparkContext

Question

对于 DataFrame 的 SparkContext，我可以通过以下方式获取底层上下文：

df.rdd.sparkContext

有什么方法可以用 DataFrameWriter 实现同样的效果，即。通过获取基础 DataFrame/Rdd?

Answer 1

似乎唯一允许这样做的成员是私有的。你可以通过反思来做到这一点：一般来说这是个坏主意，但如果你真的需要这个......

更好的方法：DataFrameWriter 必须来自 Dataset.write 调用。除非它在第三方代码中，否则找到它发生的位置并在那里获取上下文。