是否可以使用正则表达式为 Spark 任务分配主机

Question

Spark on yarn 模式，集群有像 nodeA-xx 和 nodeB-xx 这样的节点，是否有任何配置可以在名为 nodeA-*

的主机上启动任务 运行

Answer 1

如果您使用的是 Capacity Scheduler，则需要启用称为节点标签的功能。 YARN Node Labels 不允许您指定正则表达式。相反，您必须标记节点，然后将此标签指定为队列的资源，最后 运行 针对特定队列的作业。