Hbase 示例，线程异常 "main" java.lang.NoClassDefFoundError

Question

我们正在尝试在 hortonworks 沙箱 (2.3) 上执行基本的 Hbase 示例。

hadoop jar /usr/hdp/2.3.0.0-2557/hbase/lib/hbase-examples.jar org.apache.hadoop.hbase.mapreduce.IndexBuilder

执行此程序后出现异常。

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/util/Bytes                                         
    at org.apache.hadoop.hbase.mapreduce.IndexBuilder.<clinit>(IndexBuilder.java:67)                                              
    at java.lang.Class.forName0(Native Method)                                                                                    
    at java.lang.Class.forName(Class.java:278)                                                                                    
    at org.apache.hadoop.util.RunJar.run(RunJar.java:214)                                                                         
    at org.apache.hadoop.util.RunJar.main(RunJar.java:136)                                                                        
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hbase.util.Bytes                                                       
    at java.net.URLClassLoader.run(URLClassLoader.java:366)                                                                     
    at java.net.URLClassLoader.run(URLClassLoader.java:355)                                                                     
    at java.security.AccessController.doPrivileged(Native Method)                                                                 
    at java.net.URLClassLoader.findClass(URLClassLoader.java:354)                                                                 
    at java.lang.ClassLoader.loadClass(ClassLoader.java:425)                                                                      
    at java.lang.ClassLoader.loadClass(ClassLoader.java:358)                                                                      
    ... 5 more

基于这个错误，我们尝试在 Hbase-env.sh.

中设置 Hadoop 类路径

/usr/hdp/2.3.0.0-2557/hbase/lib/hbase-client-1.1.1.2.3.0.0-2557.jar:/usr/hdp/2.3.0.0-2557/hbase/lib/hbase-common-1.1.1.2.3.0.0-2557.jar:/usr/hdp/2.3.0.0-2557/hbase/lib/protobuf-java-2.5.0.jar:/usr/hdp/2.3.0.0-2557/hbase/lib/guava-12.0.1.jar:$/usr/hdp/2.3.0.0-2557/hbase/lib/zookeeper.jar:/usr/hdp/2.3.0.0-2557/hbase/lib/hbase-protocol-1.1.1.2.3.0.0-2557.jar:/usr/hdp/2.3.0.0-2557/hbase/lib/commons-configuration-1.6.jar:/usr/hdp/2.3.0.0-2557/hbase/lib/hadoop-common.jar:/usr/hdp/2.3.0.0-2557/hbase/lib/hbase-0.94.27.jar

但仍然出现同样的错误。

Answer 1

jar中是否包含了所有最新的代码？使用 java 反编译器（例如 jd-gui）查看 jar 文件内部，以确保您引用的 class 确实存在。还要检查 Java class.

中是否存在必要的导入语句

Answer 2

当我遇到 mapreduce 的 NoClassDefFoundError 错误时，我使用 JobBuilder 中的一个 jar class 添加 jar 来解决它。
例如
Job job = new Job(conf); job.setJarByClass(org.apache.hadoop.hbase.util.Bytes.class);

使用 libjars 参数为您的工作提供 jar- 例如

LIB=hbase-x.x.x.jar
hadoop jar /usr/hdp/2.3.0.0-2557/hbase/lib/hbase-examples.jar org.apache.hadoop.hbase.mapreduce.IndexBuilder -libjars ${LIB}

您还可以在启动作业之前将 jar 添加到 HADOOP_CLASSPATH 变量。

Answer 3

您可以直接使用以下命令，而不是手动将 jars 添加到类路径中。 $(hbase classpath) 在 hortonworks hadoop 文件夹中递归搜索并从沙箱中找到所需的 jar。

HADOOP_CLASSPATH=$(hbase classpath):/usr/hdp/2.3.0.0-2557/hbase/conf hadoop jar /usr/hdp/2.3.0.0-2557/hbase/lib/hbase-examples.jar org.apache.hadoop.hbase.mapreduce.IndexBuilder

Hbase 示例，线程异常 "main" java.lang.NoClassDefFoundError

Hbase example, Exception in thread "main" java.lang.NoClassDefFoundError

java

hadoop

hbase

hortonworks-data-platform