Spark Streaming - CheckPointing 问题
Spark Streaming - CheckPointing issue
我已经使用 Twitter 的流媒体用户 api 和 Spark 流媒体完成了 Twitter 流媒体。这 运行s 在我的本地机器上成功。但是当我 运行 这个程序在集群上以本地模式运行时。这是第一次 运行 成功。稍后它会给出以下异常。
"Exception in thread "main" org.apache.spark.SparkException: Found both spark.executor.extraClassPath and SPARK_CLASSPATH. Use only the former."
和 spark class 路径已经取消设置!!
我必须每次都创建一个新的检查点目录才能成功运行。否则显示上述异常。
谁能帮我解决这个问题?
谢谢 :)
尝试使用
#!/bin/bash
HBASE_HOME=/opt/cloudera/parcels/CDH/lib/hbase
SPARK_CLASSPATH="$HBASE_HOME/conf/:$HBASE_HOME/hbase-client.jar:$HBASE_HOME/hbase-protocol.jar:$HBASE_HOME/lib/htrace-core.jar:$HBASE_HOME/lib/htrace-core-3.1.0-incubating.jar"
spark-submit --num-executors 2 --executor-cores 2 --executor-memory 10G --conf spark.executor.extraClassPath=$SPARK_CLASSPATH your_spark_program.jar --class your_entry_class
最重要的是--conf spark.executor.extraClassPath=$SPARK_CLASSPATH
遇到过类似的问题。
设置 SPARK_CLASSPATH 会导致问题,因为它已被弃用。所以不要用它。
export LIB_JARS=dependency/jcodings-1.0.8.jar,dependency.....etc
spark-submit --deploy-mode client --master local --class org.xyz.spark.driver.SomeClass --num-executors 10 --jars ${LIB_JARS}
我已经使用 Twitter 的流媒体用户 api 和 Spark 流媒体完成了 Twitter 流媒体。这 运行s 在我的本地机器上成功。但是当我 运行 这个程序在集群上以本地模式运行时。这是第一次 运行 成功。稍后它会给出以下异常。
"Exception in thread "main" org.apache.spark.SparkException: Found both spark.executor.extraClassPath and SPARK_CLASSPATH. Use only the former."
和 spark class 路径已经取消设置!! 我必须每次都创建一个新的检查点目录才能成功运行。否则显示上述异常。
谁能帮我解决这个问题? 谢谢 :)
尝试使用
#!/bin/bash
HBASE_HOME=/opt/cloudera/parcels/CDH/lib/hbase
SPARK_CLASSPATH="$HBASE_HOME/conf/:$HBASE_HOME/hbase-client.jar:$HBASE_HOME/hbase-protocol.jar:$HBASE_HOME/lib/htrace-core.jar:$HBASE_HOME/lib/htrace-core-3.1.0-incubating.jar"
spark-submit --num-executors 2 --executor-cores 2 --executor-memory 10G --conf spark.executor.extraClassPath=$SPARK_CLASSPATH your_spark_program.jar --class your_entry_class
最重要的是--conf spark.executor.extraClassPath=$SPARK_CLASSPATH
遇到过类似的问题。 设置 SPARK_CLASSPATH 会导致问题,因为它已被弃用。所以不要用它。
export LIB_JARS=dependency/jcodings-1.0.8.jar,dependency.....etc spark-submit --deploy-mode client --master local --class org.xyz.spark.driver.SomeClass --num-executors 10 --jars ${LIB_JARS}