java.io.InvalidClassException: org.apache.spark.internal.io.HadoopMapReduceCommitProtocol;本地 class 不兼容
java.io.InvalidClassException: org.apache.spark.internal.io.HadoopMapReduceCommitProtocol; local class incompatible
上下文
我正在 Spark 集群上执行一个 Spark 工具（如果有兴趣，this 是 Spark 工具）。该工具正在从 HDFS 读取输入文件，并将在 HDFS 中生成输出文件。
我有 2 个 Azure VM，有一个 Spark Master 容器，一个 Namenode 容器，两个 Spark Worker 容器和两个 Datanode 容器（更多两个容器提供工具所需的文件，但我不认为它很重要), 配备 Docker Swarm.
这是我用于 运行 Spark 工具的 Bash 命令：
/gatk/gatk BwaAndMarkDuplicatesPipelineSpark \
--input hdfs://namenode:8020/PFC_0028_SW_CGTACG_R_fastqtosam.bam \
--reference hdfs://namenode:8020/hg19-ucsc/ucsc.hg19.2bit \
--bwa-mem-index-image /reference_image/ucsc.hg19.fasta.img \
--disable-sequence-dictionary-validation true \
--output hdfs://namenode:8020/PFC_0028_SW_CGTACG_R_dedup_reads.bam \
-- --spark-runner SPARK --spark-master spark://$SPARK_MASTER_HOST:7077 \
--driver-memory 30g --executor-cores 4 --executor-memory 15g
问题
几个小时后我收到此错误：
18/02/08 23:10:42 WARN TaskSetManager: Lost task 15.0 in stage 5.0 (TID 3087, 10.0.0.10, executor 0):
java.io.InvalidClassException: org.apache.spark.internal.io.HadoopMapReduceCommitProtocol;
local class incompatible: stream classdesc serialVersionUID = -3240062154626659006, local class serialVersionUID = 8531775026770993759
甚至在 Stack Overflow 上搜索我发现这个 issue 有类似的异常，它基本上建议添加这样的东西
private static final long serialVersionUID = 6529685098267757690L;
在 Java 代码中。但是 Spark tool that I am using, is actually using the serialVerionUID, moreover the exception suggests that is raised by org.apache.spark.internal.io.HadoopMapReduceCommitProtocol，它似乎扩展了 Serializable，但没有使用 serialVerionUID；我应该在 Spark GitHub 上打开一个问题并报告这个异常还是我做错了什么？
对不起，如果太冗长，如果需要更多细节，请随时询问。
我查看了Spark Master容器和Spark Worker容器的Spark版本，分别是2.2.1和2.2.0
所以我在他们两个中都使用了 2.2.0，这次它成功了。我认为问题出在 Worker 和 Master 之间的版本不匹配（即使我第一次启动该工具时，仅在执行几个小时后才引发异常）。
上下文
我正在 Spark 集群上执行一个 Spark 工具（如果有兴趣，this 是 Spark 工具）。该工具正在从 HDFS 读取输入文件，并将在 HDFS 中生成输出文件。
我有 2 个 Azure VM，有一个 Spark Master 容器，一个 Namenode 容器，两个 Spark Worker 容器和两个 Datanode 容器（更多两个容器提供工具所需的文件，但我不认为它很重要), 配备 Docker Swarm.
这是我用于 运行 Spark 工具的 Bash 命令：
/gatk/gatk BwaAndMarkDuplicatesPipelineSpark \
--input hdfs://namenode:8020/PFC_0028_SW_CGTACG_R_fastqtosam.bam \
--reference hdfs://namenode:8020/hg19-ucsc/ucsc.hg19.2bit \
--bwa-mem-index-image /reference_image/ucsc.hg19.fasta.img \
--disable-sequence-dictionary-validation true \
--output hdfs://namenode:8020/PFC_0028_SW_CGTACG_R_dedup_reads.bam \
-- --spark-runner SPARK --spark-master spark://$SPARK_MASTER_HOST:7077 \
--driver-memory 30g --executor-cores 4 --executor-memory 15g
问题
几个小时后我收到此错误：
18/02/08 23:10:42 WARN TaskSetManager: Lost task 15.0 in stage 5.0 (TID 3087, 10.0.0.10, executor 0):
java.io.InvalidClassException: org.apache.spark.internal.io.HadoopMapReduceCommitProtocol;
local class incompatible: stream classdesc serialVersionUID = -3240062154626659006, local class serialVersionUID = 8531775026770993759
甚至在 Stack Overflow 上搜索我发现这个 issue 有类似的异常，它基本上建议添加这样的东西
private static final long serialVersionUID = 6529685098267757690L;
在 Java 代码中。但是 Spark tool that I am using, is actually using the serialVerionUID, moreover the exception suggests that is raised by org.apache.spark.internal.io.HadoopMapReduceCommitProtocol，它似乎扩展了 Serializable，但没有使用 serialVerionUID；我应该在 Spark GitHub 上打开一个问题并报告这个异常还是我做错了什么？
对不起，如果太冗长，如果需要更多细节，请随时询问。
我查看了Spark Master容器和Spark Worker容器的Spark版本，分别是2.2.1和2.2.0
所以我在他们两个中都使用了 2.2.0，这次它成功了。我认为问题出在 Worker 和 Master 之间的版本不匹配（即使我第一次启动该工具时，仅在执行几个小时后才引发异常）。