我们可以根据类型(MR、SPARK)将 hadoop 应用程序分配到公平调度程序队列中吗?
Can we assign hadoop application based on their type(MR,SPARK) into fair-scheduler queue?
fair-scheduler是否支持基于应用类型的队列分配?
就像所有 SPARK 作业都在 Spark_Queue 下,MR 作业在 MR_Queue.
下一样
当 submitting/running Spark 作业时,您可以将 YARN 队列指定为 --queue 命令行参数、spark.yarn.queue Spark 配置参数或 SPARK_YARN_QUEUE 环境变量。
fair-scheduler是否支持基于应用类型的队列分配? 就像所有 SPARK 作业都在 Spark_Queue 下,MR 作业在 MR_Queue.
下一样当 submitting/running Spark 作业时,您可以将 YARN 队列指定为 --queue 命令行参数、spark.yarn.queue Spark 配置参数或 SPARK_YARN_QUEUE 环境变量。