pyspark 在数据框中传递多个选项

Question

我是 python 和 pyspark 的新手。我想知道我如何在 pyspark 中编写以下 spark 数据框函数：

val df = spark.read.format("jdbc").options(
       Map(
        "url" -> "jdbc:someDB", 
        "user" -> "root", 
        "password" -> "password", 
        "dbtable" -> "tableName", 
        "driver" -> "someDriver")).load()

我试着在pyspark中写成如下。但是，出现语法错误：

df = spark.read.format("jdbc").options(
      map(lambda : ("url","jdbc:someDB"), ("user","root"), ("password","password"), ("dbtable","tableName"), ("driver","someDriver"))).load()

提前致谢

Answer 1

尝试使用 option() 代替：

df = spark.read \
    .format("jdbc") \
    .option("url","jdbc:someDB") \
    .option("user","root") \
    .option("password","password") \
    .option("dbtable","tableName") \ 
    .option("driver","someDriver") \
    .load()

Answer 2

要加载具有多个参数的 CSV 文件，请将参数传递给 load():

df = spark.read.load("examples/src/main/resources/people.csv",
                     format="csv", sep=":", inferSchema="true", header="true")

这是 documentation。

Answer 3

在 PySpark 中，将选项作为关键字参数传递：

df = spark.read\
    .format("jdbc")\
    .options(
        url="jdbc:someDB",
        user="root",
        password="password",
        dbtable="tableName",
        driver="someDriver",
    )\
    .load()

有时将它们保存在 dict 中并稍后使用 splat 运算符解压缩它们很方便：

options = {
    "url": "jdbc:someDB",
    "user": "root",
    "password": "password",
    "dbtable": "tableName",
    "driver": "someDriver",
}

df = spark.read\
    .format("jdbc")\
    .options(**options)\
    .load()

关于您问题中的代码片段：您碰巧混淆了“地图”的两个不同概念：

Map在Scala中是一种数据结构也被称为“关联数组”或“字典”，相当于Python的dict
map in Python 是一个 higher-order 函数，可用于将函数应用于可迭代对象，例如：

In [1]: def square(x: int) -> int:
   ...:     return x**2
   ...:

In [2]: list(map(square, [1, 2, 3, 4, 5]))
Out[2]: [1, 4, 9, 16, 25]

In [3]: # or just use a lambda

In [4]: list(map(lambda x: x**2, [1, 2, 3, 4, 5]))
Out[4]: [1, 4, 9, 16, 25]

pyspark 在数据框中传递多个选项

pyspark pass multiple options in dataframe

apache-spark-sql

pyspark-sql