无法在 apache spark 1.4.1 上启动主节点(没有 hadoop)
can't start master node on apache spark 1.4.1 (without hadoop)
我正在尝试在我的 ec2 实例上 运行 没有 hadoop (spark-1.4.1-bin-without-hadoop.tgz) 的 spark 1.4.1。
这是我的完整日志
Spark Command: /usr/lib/jvm/jre/bin/java -cp /home/ec2-user/spark-1.4.1-bin-without-hadoop/sbin/../conf/:/home/ec2-user/spark-1.4.1-bin-without-hadoop/lib/spark-assembly-1.4.1-hadoop2.2.0.jar -Xms512m -Xmx512m -XX:MaxPermSize=256m org.apache.spark.deploy.master.Master --ip ip-172-31-24-107 --port 7077 --webui-port 8080
========================================
Exception in thread "main" java.lang.NoClassDefFoundError: org/slf4j/Logger
at java.lang.Class.getDeclaredMethods0(Native Method)
at java.lang.Class.privateGetDeclaredMethods(Class.java:2625)
at java.lang.Class.getMethod0(Class.java:2866)
at java.lang.Class.getMethod(Class.java:1676)
at sun.launcher.LauncherHelper.getMainMethod(LauncherHelper.java:494)
at sun.launcher.LauncherHelper.checkAndLoadMain(LauncherHelper.java:486)
Caused by: java.lang.ClassNotFoundException: org.slf4j.Logger
at java.net.URLClassLoader.run(URLClassLoader.java:366)
at java.net.URLClassLoader.run(URLClassLoader.java:355)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
... 6 more
如有任何建议,我们将不胜感激?
注意: 我通过安装 spark-1.4.1-bin-hadoop2.6.tgz.
解决了这个问题
谢谢
我通过安装 spark-1.4.1-bin-hadoop2 解决了这个问题。6.tgz。
我正在尝试在我的 ec2 实例上 运行 没有 hadoop (spark-1.4.1-bin-without-hadoop.tgz) 的 spark 1.4.1。
这是我的完整日志
Spark Command: /usr/lib/jvm/jre/bin/java -cp /home/ec2-user/spark-1.4.1-bin-without-hadoop/sbin/../conf/:/home/ec2-user/spark-1.4.1-bin-without-hadoop/lib/spark-assembly-1.4.1-hadoop2.2.0.jar -Xms512m -Xmx512m -XX:MaxPermSize=256m org.apache.spark.deploy.master.Master --ip ip-172-31-24-107 --port 7077 --webui-port 8080
========================================
Exception in thread "main" java.lang.NoClassDefFoundError: org/slf4j/Logger
at java.lang.Class.getDeclaredMethods0(Native Method)
at java.lang.Class.privateGetDeclaredMethods(Class.java:2625)
at java.lang.Class.getMethod0(Class.java:2866)
at java.lang.Class.getMethod(Class.java:1676)
at sun.launcher.LauncherHelper.getMainMethod(LauncherHelper.java:494)
at sun.launcher.LauncherHelper.checkAndLoadMain(LauncherHelper.java:486)
Caused by: java.lang.ClassNotFoundException: org.slf4j.Logger
at java.net.URLClassLoader.run(URLClassLoader.java:366)
at java.net.URLClassLoader.run(URLClassLoader.java:355)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
... 6 more
如有任何建议,我们将不胜感激?
注意: 我通过安装 spark-1.4.1-bin-hadoop2.6.tgz.
解决了这个问题谢谢
我通过安装 spark-1.4.1-bin-hadoop2 解决了这个问题。6.tgz。