YARN(Hadoop)中的容器分配代码

Container allocation code in YARN (Hadoop)

我正在尝试修改 YARN 容器分配代码。通过容器分配,我的意思是决定将容器放置在集群中的特定机器上。

我想写自己的容器分配代码。首先,我是 运行 Hadoop,采用 YARN 的伪分布式模式。我试图在源代码中找到相关点。到目前为止,使用 print 语句,我已经能够精确定位发生分配的 class hadoop-source-code/hadoop-yarn-project/hadoop-yarn/hadoop-yarn-common/src/main/java/org/apache/hadoop/yarn/api/impl/pb/client/ApplicationMasterProtocolPBClientImpl.java#allocate 。但是,我无法进一步缩小范围。进一步研究这种方法,我无法打印任何东西。

总而言之,我想在 Hadoop 源代码中找到我需要编写自己的代码来替换现有容器分配机制的确切位置。

I have not been able to print anything

起初,我认为日志记录是特定于应用程序的,但与资源管理器相关的所有信息都在 log 文件夹下名为 hadoop-{username}-resourcemanager-{username}.log 的日志文件下。我没有使用 print 语句,而是使用 LOG.info 进行调试。

Location of allocation mechanism in hadoop source code

我正在使用 FIFO 调度程序,分配机制在方法 FifoScheduler#assignContainersOnNode 下,它是从 FifoScheduler#assignContainers 调用的,它是从 FifoScheduler#nodeUpdate 方法调用的。

FifoScheduler#handle方法(more information here),它不断跟踪不同的事件。 NODE_UPDATE 是经常触发的事件之一,因此会在给定节点上分配容器。