无法在 ipython 到 link 到 MySQL 中正确创建 spark 上下文 - com.mysql.jdbc.Driver

Question

我正在运行使用 Spark、PySpark、Ipython 和 mysql 构建本地环境。我正在努力通过 spark 启动 mysql 查询。主要问题是包含正确的 jdbc jar 以便能够执行查询。

这是我目前的情况：

import pyspark
conf = (pyspark.SparkConf()
        .setMaster('local')
        .setAppName('Romain_DS')
        .set("spark.executor.memory", "1g")
        .set("spark.driver.extraLibraryPath","mysql-connector-java-5.1.37/mysql-connector-java-5.1.37-bin.jar")
        .set("spark.driver.extraClassPath","mysql-connector-java-5.1.37/mysql-connector-java-5.1.37-bin.jar")
    )
sc = pyspark.SparkContext(conf=conf)

这是为了正确创建 spark 上下文，并正确显示包含 jdbc 驱动程序的 jar 的路径。

然后我创建一个 SQLContext :

from pyspark.sql import SQLContext
sqlsc=SQLContext(sc)

最后查询：

MYSQL_USERNAME = "root";
MYSQL_PWD = "rootpass";
MYSQL_CONNECTION_URL = "jdbc:mysql://127.0.0.1:33060/O_Tracking?user=" + MYSQL_USERNAME + "&password=" + MYSQL_PWD;
query = 'Select * from tracker_action'

dataframe_mysql = sqlsc.read.format("jdbc").options(
    url = MYSQL_CONNECTION_URL,
    dbtable = "tracker_action",
    driver = "com.mysql.jdbc.Driver",
    user="root",
    password="rootpass").load()

如果我在 ipython 笔记本中运行这个我得到错误：

An error occurred while calling o198.load. : java.lang.ClassNotFoundException: com.mysql.jdbc.Driver

但是，如果我从 shell（而不是 ipython）开始执行所有操作，通过这种方式初始化 spark 上下文：

pyspark --driver-library-path './mysql-connector-java-5.1.37-bin.jar' --driver-class-path './mysql-connector-java-5.1.37-bin.jar'

它确实有效...我查看了 Spark 中的 UI 配置是相同的。所以我不明白为什么一个工作而不是另一个工作......是否与 JVM 之前的运行time 设置有关？

如果我找不到合适的解决方案，我们可能会考虑运行在 shell 中使用 sc，然后从 ipython 中使用它，但我不知道如何要做到这一点。

如果有人可以帮助我，那就太好了。

---- 硬件/软件 MacOSX

Spark 1.5.2

Java 1.8.0

Python 2.7.10 :: 蟒蛇 2.3.0 (x86_64)

---- 帮助来源：

https://gist.github.com/ololobus/4c221a0891775eaa86b0 http://spark.apache.org/docs/latest/configuration.html

下面的评论是我的conf文件：

# Default system properties included when running spark-submit.
# This is useful for setting default environmental settings.
spark.driver.extraLibraryPath   /Users/romainbui/mysql-connector-java-5.1.37/mysql-connector-java-5.1.37-bin.jar
spark.driver.extrClassPath  /Users/romainbui/mysql-connector-java-5.1.37/mysql-connector-java-5.1.37-bin.jar
spark.AppName   PySpark
spark.setMaster Local

------------解决方案-------- 多亏了评论，我终于能够正确地拥有一个可行的解决方案（和一个干净的解决方案）。

第 1 步：创建配置文件：

ipython profile create pyspark

第 2 步：编辑配置文件启动脚本：

touch ~/.ipython/profile_pyspark/startup/00-pyspark-setup.py

第 3 步：填写文件。在这里我做了一些定制（感谢评论）：

import findspark
import os
import sys
findspark.init()
spark_home = findspark.find()

#spark_home = os.environ.get('SPARK_HOME', None)
sys.path.insert(0, spark_home + "/python")

# Add the py4j to the path.
# You may need to change the version number to match your install
sys.path.insert(0, os.path.join(spark_home, 'python/lib/py4j-0.8.2.1-src.zip'))

# Adding the library to mysql connector
packages = "mysql:mysql-connector-java:5.1.37"
os.environ["PYSPARK_SUBMIT_ARGS"] = "--packages {0} pyspark-shell".format(
    packages
)

# Initialize PySpark to predefine the SparkContext variable 'sc'
execfile(os.path.join(spark_home, 'python/pyspark/shell.py'))

然后你可以简单地运行笔记本 :

ipython notebook --profile=pyspark

Answer 1

I don't understand why would one work and not the other one ... Is there something to do with the runtime setting before the JVM ?

或多或少。 IPython 您显示的配置执行 python/pyspark/shell.py，它创建 SparkContext（和其他一些东西）并创建一个 JVM 实例。当您稍后创建另一个上下文时，它使用相同的 JVM，并且不会使用 spark.driver.extraClassPath 等参数。

您可以通过多种方式处理此问题，包括 passing arguments using PYSPARK_SUBMIT_ARGS 或在 $SPARK_HOME/conf/spark-defaults.conf 中设置 spark.driver.extraClassPath。

或者，您可以在执行 shell.py 之前向 00-pyspark-setup.py 添加以下行：

packages = "mysql:mysql-connector-java:5.1.37"
os.environ["PYSPARK_SUBMIT_ARGS"] = "--packages {0} pyspark-shell".format(
    packages
)

设置 --driver-class-path / --driver-library-path 也应该有效。

无法在 ipython 到 link 到 MySQL 中正确创建 spark 上下文 - com.mysql.jdbc.Driver

Cannot properly create a spark context in ipython to link to MySQL - com.mysql.jdbc.Driver

python

jdbc

ipython-notebook

apache-spark

pyspark