Spark Scheduler 强制应用到 运行

Question

当有多个应用程序提交到同一个集群上的 spark 时，spark 会以先进先出的方式对它们进行排序，直到前一个完成后才能开始任何作业。我正在尝试找到一种方法让应用程序跳过队列并成为调度程序中 运行 的下一个应用程序。有没有办法做到这一点？我无法从文档或用户界面中找到任何内容。

Answer 1

答案是，如果某个应用程序或工作是在第一个应用程序/工作之后启动的，那么您不能强制其先于另一个应用程序或工作开始。

但是，您应该确保在集群中正确设置队列，这样您的队列就不会争夺执行程序。在这种情况下，其中一个队列最多可以使用 100% 的 spark 执行器总数。在该队列中，由于其应用程序/作业中存在某些错误，Spark 作业已排队且未处理。因为它所在的队列 运行 最多可以访问 100% 的执行程序，所以之后的每个作业，无论它们在哪个队列中，都必须等待它在 运行 之前完成它积压了整个集群。