运行 Hbase mapreduce 作业给出 HBaseConfiguration NoClassDefFoundError 异常

Question

我在~/.bashrc

中设置了变量

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/usr/lcoal/Hbase/lib/hbase-client-1.2.4.jar

但是当我编译代码时

java -cp $HADOOP_CLASSPATH:/home/hadoopuser/Downloads/myjar.jar com.bigdata.uniquecoder.WordCountClass

它仍然给我这个错误。

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration
at com.bigdata.uniquecoder.WordCountClass.main(WordCountClass.java:57)

Caused by:java.lang.ClassNotFoundException:org.apache.hadoop.hbase.HBaseConfiguration at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331)
at java.lang.ClassLoader.loadClass(ClassLoader.java:357) ... 1 more

注意： 当我在 eclipse 中运行它工作正常，但是当运行ning 在 hadoop 之上时会出现此错误。任何帮助将不胜感激。

Answer 1

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration

缺失的 class 将出现在 hbase-common-x.y.z.jar

将 $HADOOP_CLASSPATH 更新为

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/usr/local/Hbase/lib/hbase-common-1.2.4.jar

或者，

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/usr/local/Hbase/lib/

这将加载 $HBASE_HOME/lib

下的所有 jar

确保 $HADOOP_CLASSPATH 包含必要的 HADOOP 库。否则，在 ~/.bashrc

中使用下面的 export 命令

export HADOOP_CLASSPATH=$HADOOP_HOME/share/hadoop/common/:$HADOOP_H‌OME/share/hadoop/com‌mon/lib/:$HADOOP_HOM‌E/share/hadoop/hdfs/‌:$HADOOP_HOME/share/‌hadoop/hdfs/lib/:$HA‌DOOP_HOME/share/hado‌op/yarn/:$HADOOP_HOM‌E/share/hadoop/yarn/‌lib/:/usr/local/Hbase/lib/:$CLASSPATH

运行 Hbase mapreduce 作业给出 HBaseConfiguration NoClassDefFoundError 异常

Running Hbase mapreduce job gives HBaseConfiguration NoClassDefFoundError exception

hbase

mapreduce

exception

hadoop2