PySpark 中不存在方法 showString([class java.lang.Integer, class java.lang.Integer, class java.lang.Boolean])

Question

这是片段：

from pyspark import SparkContext
from pyspark.sql.session import SparkSession

sc = SparkContext()
spark = SparkSession(sc)
d = spark.read.format("csv").option("header", True).option("inferSchema", True).load('file.csv')
d.show()

这之后遇到错误：

An error occurred while calling o163.showString. Trace:
py4j.Py4JException: Method showString([class java.lang.Integer, class java.lang.Integer, class java.lang.Boolean]) does not exist

所有其他方法都可以正常工作。尝试了很多研究但徒劳无功。任何线索将不胜感激

Answer 1

在spark-shell控制台，输入变量名，查看数据类型。作为替代方案，您可以在变量命名后按 Tab 键两次。它将显示可以应用的必要功能。 DataFrame 对象的示例。

res23: org.apache.spark.sql.DataFrame = [order_id: string, book_name: string ... 1 more field]

Answer 2

这表明 Spark 版本不匹配。 Before Spark 2.3 show 方法只有两个参数：

def show(self, n=20, truncate=True):

since 2.3 它需要三个参数：

def show(self, n=20, truncate=True, vertical=False):

在你的情况下 Python 客户端似乎调用了后者，而 JVM 后端使用旧版本。

由于 SparkContext 初始化在 2.4 中发生了重大变化，这会导致 SparkContext.__init__ 失败，您可能正在使用：

2.3.x Python 图书馆.
2.2.x 个 JAR。

您可以通过直接从会话中检查版本来确认，Python:

sc.version

对比JVM:

sc._jsc.version()

像这样的问题，通常是 PYTHONPATH 配置错误的结果（要么直接，要么使用 pip 在每个现有的 Spark 二进制文件上安装 PySpark）或 SPARK_HOME.

PySpark 中不存在方法 showString([class java.lang.Integer, class java.lang.Integer, class java.lang.Boolean])

Method showString([class java.lang.Integer, class java.lang.Integer, class java.lang.Boolean]) does not exist in PySpark

java

py4j

apache-spark

apache-spark-sql

pyspark