Samza 是否与 HA 中的 ResourceManager 一起工作？

Question

有没有人让 Samza 在 HA 中与资源管理器一起工作？如果是这样，我在 yarn-site.xml 中将 yarn.resourcemanager.hostname 设置为什么？

如果我将它设置为我的第一个 RM，如果我从该 RM 提交作业并且 RM 是活动的，则作业提交工作正常。如果我运行从中提交作业的 RM 机器未激活，我会在端口 8032 上收到连接被拒绝的错误。

Answer 1

是的，我们在 HA 模式下有 samza 运行 RM。基本上确保 yarn-site.xml 具有下面定义的属性。这将确保如果第一个 RM 不成功，作业提交将尝试连接到另一个 RM。

    <property>
      <name>yarn.resourcemanager.hostname</name>
      <value>yarn_resource_manager_hostname</value>
    </property>
    <property>
      <name>yarn.resourcemanager.ha.enabled</name>
      <value>true</value>
    </property>
    <property>
      <name>yarn.resourcemanager.cluster-id</name>
      <value>yarn_cluster_id</value>
    </property>
    <property>
      <name>yarn.resourcemanager.ha.rm-ids</name>
      <value>rm1,rm2</value>
    </property>
    <property>
      <name>yarn.resourcemanager.hostname.rm1</name>
      <value>yarn_resource_manager_hostname</value>
    </property>
    <property>
      <name>yarn.resourcemanager.hostname.rm2</name>
      <value>yarn_resource_manager2_hostname</value>
    </property>
    <property>
      <name>yarn.resourcemanager.address.rm1</name>
      <value>yarn_resource_manager_hostname:8032</value>
    </property>
    <property>
      <name>yarn.resourcemanager.address.rm2</name>
      <value>yarn_resource_manager2_hostname:8032</value>
    </property>

Samza 是否与 HA 中的 ResourceManager 一起工作？

Does Samza work with ResourceManager in HA?

hadoop

hadoop-yarn

apache-samza