YARN 部署模式之间的区别 - 具有节点管理器的机器上的 CLUSTER 和 CLIENT 模式

Question

对我来说，唯一的区别是，在第一种情况下，驱动程序将位于 App Master JVM 中，而在上面的客户端模式配置中，驱动程序将位于其旁边。这两种情况会有什么不同？

Answer 1

Spark 部署模式 - 客户端与集群

Client mode

• 它是互动的。如果你想在你的机器上（客户端——Driver程序）得到一个作业结果（动态分析），客户端部署模式就非常有用。
• developing/debugging.
更容易
• 最终用户可以控制驱动程序所在的位置 运行
• Always up 应用程序：将您的 Spark 作业启动器公开为 REST 服务或 Web UI。

Cluster mode

• 更容易分配资源（让主人决定）：即发即弃
• 由于这种即弃即忘的行为，最好在集群模式下提交耗费资源的长作业。
• 监控驱动程序是从 Master Web UI 和其他工作人员一样完成的。 （不是来自客户端机器）
• 结束时停止：作业完成后，分配的资源将自动释放。
• 在集群模式下，如果驱动程序出现问题，YARN 会在不杀死执行程序的情况下重新启动驱动程序。
• 在客户端模式下，如果您的驱动程序被终止，YARN 会自动终止所有执行程序。