When Running Spark job in hadoop cluster i am getting java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration
When Running Spark job in hadoop cluster i am getting java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration
当我尝试 运行 我的连接 hbase 数据库的 scala 代码时，它在我的本地 IDE 中完美运行。但是当我在 hadoop 集群中 运行 相同时，我得到 "Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration" 错误。
请帮帮我
将所有 HBase 库 jar 添加到 HADOOP_CLASSPATH -
export HBASE_HOME="YOUR_HBASE_HOME_PATH"
export HADOOP_CLASSPATH="$HADOOP_CLASSPATH:$HBASE_HOME/lib/*"
您可以将任何需要的外部 jar 附加到 HADOOP_CLASSPATH，这样您就不需要在 spark-submit 命令中明确设置它。所有依赖的 jar 都将被加载并提供给您的 Spark 应用程序。
当我尝试 运行 我的连接 hbase 数据库的 scala 代码时，它在我的本地 IDE 中完美运行。但是当我在 hadoop 集群中 运行 相同时，我得到 "Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration" 错误。
请帮帮我
将所有 HBase 库 jar 添加到 HADOOP_CLASSPATH -
export HBASE_HOME="YOUR_HBASE_HOME_PATH"
export HADOOP_CLASSPATH="$HADOOP_CLASSPATH:$HBASE_HOME/lib/*"
您可以将任何需要的外部 jar 附加到 HADOOP_CLASSPATH，这样您就不需要在 spark-submit 命令中明确设置它。所有依赖的 jar 都将被加载并提供给您的 Spark 应用程序。