如何使用 spark 2.* 访问 hbase

Question

我写了一个程序，它使用带有 spark-hbase-connecotr 的 spark 1.6 访问 HBase（sbt 依赖性："it.nerdammer.bigdata" % "spark-hbase-connector_2.10" % "1.0.3"）。但是在使用 spark 2.* 时不起作用。我搜索了这个问题并得出了一些结论：

有几个连接器用于使用 spark 连接 hbase
- hbase-spark。 hbase-spark由HBase官方提供website。但是我发现它是在 scala 2.10 和 spark 1.6 上开发的。项目pom.xml中的属性如下：
```
<properties>
  <spark.version>1.6.0</spark.version>
  <scala.version>2.10.4</scala.version>
  <scala.binary.version>2.10</scala.binary.version>
  <top.dir>${project.basedir}/..</top.dir>
  <avro.version>1.7.6</avro.version>
  <avro.mapred.classifier></avro.mapred.classifier>
</properties>
```
- hbase-spark-connecotr：我访问了他们的website，没有关于spark 2.0的信息。 jar 的名称是 spark-hbase-connector_2.10 告诉我们这个 jar 是由 spark 1.* 使用的 scala 2.10 编译的。但是，当我将 jar 的名称更改为 spark-hbase-connector_2.11（由 scala 2.11 编译，与 spark 2 相同。）时，我的 IEDA（一种 IDE）告诉我没有名为 [=41= 的 jar .11.So 不支持 spark 2..
- hortonworks-spark：我访问过他们的网站。一些评论说不支持 spark 2.*.

您知道第三方提供的完整文档的jar 可以解决问题吗？我应该使用什么包来使用 spark 2.* 连接 hbase？感谢您提出任何建议。谢谢！

Answer 1

我选择使用newAPIHadoopRDD访问spark中的hbase

如何使用 spark 2.* 访问 hbase

how to visit hbase using spark 2.*

hbase

scala

apache-spark