HBase 和 Spark - 尝试写入 table 时发生 NullPointerException

Question

我在 3 节点集群上使用 HDP 和 Ambari。我尝试使用示例代码 (link) 从 Spark 将数据保存到 Hbase table，但我的工作失败了。

我使用的命令：

spark-submit --master yarn --deploy-mode client \
--jars spark-examples-1.6.0.2.4.0.0-169-hadoop2.7.1.2.4.0.0-169.jar,\
hbase-common.jar, hbase-client.jar, hbase-server.jar, hbase-protocol.jar\
example.py 172.16.7.33 test row2 cols q1 value1

错误：
link

我可以运行 Hbase shell 并手动向 table 添加行。我认为 Hbase 配置有问题（RegionServers？）。安装后，Ambari 无法连接到 RegionServers。我重新启动了 Hbase，现在可以了，没有警报。

有人可以帮我吗？谢谢

HBase 版本。 1.1.2，星火版本。 1.6（均通过 Ambari 安装）

Answer 1

HBase 配置是否在您的类路径中，或者您是在 zookeeper 节点 (localhost) 上碰巧遇到了 zookeeper？

如果您有兴趣，我们的示例代码站点上有一些使用 HBase 进行 Spark Streaming 的示例。

https://github.com/splicemachine/splice-community-sample-code

让我知道，因为你无法获取元数据，我怀疑你的配置不在路径上或者 hbase 没有分配区域...

HBase 和 Spark - 尝试写入 table 时发生 NullPointerException

HBase and Spark - NullPointerException while trying to write to table

python

hbase

apache-spark

pyspark