py4j.Py4JException: 方法 splits([]) 不存在

Question

我在执行 spark 作业时遇到以下错误：

py4j.protocol.Py4JError: An error occurred while calling o191.splits. Trace:
py4j.Py4JException: Method splits([]) does not exist
        at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:318)
        at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:326)
        at py4j.Gateway.invoke(Gateway.java:272)
        at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)
        at py4j.commands.CallCommand.execute(CallCommand.java:79)
        at py4j.GatewayConnection.run(GatewayConnection.java:214)
        at java.lang.Thread.run(Thread.java:748)

这是我的代码：

points = df.rdd.map(lambda x: ( (x['col1'], x['col2'], x['col3']), x[i + '_func']))
points.cache()
dim = points.first()[1].size
print points._jrdd.splits().size()

最后一行抛出上面提供的异常。我该如何解决这个错误？此代码在 Spark 1.6 中运行良好。现在我正在使用 Spark 2.2，但出现此错误。 Python的版本是2.7.12（和以前一样）。

Answer 1

splits in Java 自 1.1.0 以来已被弃用（替换为 partitions）并且根本不应在 PySpark 中使用。使用 getNumPartitions

points.getNumPartitions()

py4j.Py4JException: 方法 splits([]) 不存在

py4j.Py4JException: Method splits([]) does not exist

python

py4j

apache-spark

rdd

pyspark