Python 的 Spark Streaming - class 未找到异常

Question

我正在开发一个项目，使用 Spark 流将数据从 CSV 文件批量加载到 HBase。我使用的代码如下（改编自here）：

def bulk_load(rdd):
    conf = {#removed for brevity}

    keyConv = "org.apache.spark.examples.pythonconverters.StringToImmutableBytesWritableConverter"
    valueConv = "org.apache.spark.examples.pythonconverters.StringListToPutConverter"

    load_rdd = rdd.flatMap(lambda line: line.split("\n"))\
                  .flatMap(csv_to_key_value)
    load_rdd.saveAsNewAPIHadoopDataset(conf=conf,keyConverter=keyConv,valueConverter=valueConv)

包括两个 flatMap 在内的所有内容都按预期工作。但是，在尝试执行 saveAsNewAPIHadoopDataset 时出现以下运行时错误：

java.lang.ClassNotFoundException: org.apache.spark.examples.pythonconverters.StringToImmutableBytesWritableConverter

我已将 PYTHONPATH 设置为指向包含此 class（以及我的其他转换器 class）的 jar，但这似乎并没有改善这种情况。任何建议将不胜感激。提前致谢。

Answer 1

进行了一些挖掘，但这是解决方案：

不需要像我想的那样将 jars 添加到 PYTHONPATH，而是添加到 Spark 配置中。我将以下属性添加到配置中（Ambari 下的自定义 spark-defaults） spark.driver.extraClassPath 和 spark.executor.extraClassPath

我为其中的每一个添加了以下罐子：

/usr/hdp/2.3.2.0-2950/spark/lib/spark-examples-1.4.1.2.3.2.0-2950-hadoop2.7.1.2.3.2.0-2950.jar
/usr/hdp/2.3.2.0-2950/hbase/lib/hbase-common-1.1.2.2.3.2.0-2950.jar
/usr/hdp/2.3.2.0-2950/hbase/lib/hbase-client-1.1.2.2.3.2.0-2950.jar
/usr/hdp/2.3.2.0-2950/hbase/lib/hbase-protocol-1.1.2.2.3.2.0-2950.jar
/usr/hdp/2.3.2.0-2950/hbase/lib/guava-12.0.1.jar
/usr/hdp/2.3.2.0-2950/hbase/lib/hbase-server-1.1.2.2.3.2.0-2950.jar

添加这些 jar 使 spark 能够看到所有必要的文件。

Python 的 Spark Streaming - class 未找到异常

Spark Streaming with Python - class not found exception

python

spark-streaming