在 mac 本地获取 Spark 1.5 到 运行
Getting Spark 1.5 to run on mac local
我下载了 hadoop 2.4 的预构建 spark，当我尝试在 python 中启动 SparkContext 时出现以下错误：
ClassNotFoundException: org.apache.spark.launcher.Main
下面的代码应该是正确的：
import sys, os
os.environ['SPARK_HOME'] = '/spark-1.5.1-bin-hadoop2.4/'
sys.path.insert(0, '/spark-1.5.1-bin-hadoop2.4/python/')
os.environ['PYTHONPATH'] = '/usr/local/Cellar/python/2.7.9/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/'
import pyspark
from pyspark import SparkContext
sc = SparkContext('local[2]')
原来我的问题是 mac 上的默认 JDK 是 Java 1.6，而 Spark 1.5 放弃了对 Java 1.6 的支持（reference). I upgraded to Java 1.8 with the installer from oracle ，它解决了问题。
我下载了 hadoop 2.4 的预构建 spark，当我尝试在 python 中启动 SparkContext 时出现以下错误：
ClassNotFoundException: org.apache.spark.launcher.Main
下面的代码应该是正确的：
import sys, os
os.environ['SPARK_HOME'] = '/spark-1.5.1-bin-hadoop2.4/'
sys.path.insert(0, '/spark-1.5.1-bin-hadoop2.4/python/')
os.environ['PYTHONPATH'] = '/usr/local/Cellar/python/2.7.9/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/'
import pyspark
from pyspark import SparkContext
sc = SparkContext('local[2]')
原来我的问题是 mac 上的默认 JDK 是 Java 1.6，而 Spark 1.5 放弃了对 Java 1.6 的支持（reference). I upgraded to Java 1.8 with the installer from oracle ，它解决了问题。