将更新的 jar 文件复制到 Spark 上的每个从节点
Replicate updated jar file to each slave node on Spark
我有一个由一个主节点和多个从节点组成的 Apache Spark 集群。在每个节点的 jars 文件夹中，我需要 Spark 上 运行 程序的 jar 文件。
这个 jar 有定期更新，所以我发现自己不断地复制更新的 jar 文件。
是否有一种快速简便的方法可以将更新的 jar 文件从主节点复制到所有从节点，或者每次更新 jar 时都可以通过任何其他方式分发它？
当您 运行 您的 Spark 作业使用 spark-submit 使用 --jars 选项时。使用此选项，您可以将路径写入所需的 jar 文件。
此外，--jars 选项中的 jar 将自动传输到集群，因此您只需要在主节点上使用此 jar。
阅读有关如何使用此选项的信息 here。
我有一个由一个主节点和多个从节点组成的 Apache Spark 集群。在每个节点的 jars 文件夹中，我需要 Spark 上 运行 程序的 jar 文件。
这个 jar 有定期更新，所以我发现自己不断地复制更新的 jar 文件。
是否有一种快速简便的方法可以将更新的 jar 文件从主节点复制到所有从节点，或者每次更新 jar 时都可以通过任何其他方式分发它？
当您 运行 您的 Spark 作业使用 spark-submit 使用 --jars 选项时。使用此选项，您可以将路径写入所需的 jar 文件。
此外，--jars 选项中的 jar 将自动传输到集群，因此您只需要在主节点上使用此 jar。
阅读有关如何使用此选项的信息 here。