如何在EMR集群中的yarn-site.xml中插入配置
How to insert configuration in yarn-site.xml in EMR cluster
我有问题：
running beyond physical memory limits. Current usage: 1.5 GB of 1.4 GB physical memory used; 3.4 GB of 6.9 GB virtual memory used. Killing container.
我的集群是：4x c3.4xlarge(datanode) 和 m3.2xlarge(namenode)，与我的配置相同，我只有 1.4GB 可用。
为了解决这一点，我在本网站 https://www.knowru.com/blog/first-3-frustrations-you-will-encounter-when-migrating-spark-applications-aws-emr/ 和其他网站上阅读，要点是更改 yarn-site.xml 并添加此配置 yarn.nodemanager.vmem-check-enabled
但是，当我更改此配置、保存并重新启动 EMR 中的资源管理器时，此配置未应用于配置页面（EMR namenode:8088/conf）并且不起作用，但配置默认创建到 EMR接受更改。
如何更改集群 EMR 运行 的配置？
我看到这个设置只需要在集群创建时配置，真的吗？
我该如何欺骗它？
我遇到这个错误 running beyond physical memory limits. Current usage: 1.5 GB of 1.4 GB physical memory used; 3.4 GB of 6.9 GB virtual memory used. Killing container 因为我的 spark-driver 正在使用默认配置，我把这个 --driver-memory 5gconfig 放在我的 spark-submit jar 中并解决了我的问题。
我的情况就是这样。
我有问题：
running beyond physical memory limits. Current usage: 1.5 GB of 1.4 GB physical memory used; 3.4 GB of 6.9 GB virtual memory used. Killing container.
我的集群是：4x c3.4xlarge(datanode) 和 m3.2xlarge(namenode)，与我的配置相同，我只有 1.4GB 可用。
为了解决这一点，我在本网站 https://www.knowru.com/blog/first-3-frustrations-you-will-encounter-when-migrating-spark-applications-aws-emr/ 和其他网站上阅读，要点是更改 yarn-site.xml 并添加此配置 yarn.nodemanager.vmem-check-enabled
但是，当我更改此配置、保存并重新启动 EMR 中的资源管理器时，此配置未应用于配置页面（EMR namenode:8088/conf）并且不起作用，但配置默认创建到 EMR接受更改。
如何更改集群 EMR 运行 的配置？
我看到这个设置只需要在集群创建时配置，真的吗？
我该如何欺骗它？
我遇到这个错误 running beyond physical memory limits. Current usage: 1.5 GB of 1.4 GB physical memory used; 3.4 GB of 6.9 GB virtual memory used. Killing container 因为我的 spark-driver 正在使用默认配置，我把这个 --driver-memory 5gconfig 放在我的 spark-submit jar 中并解决了我的问题。
我的情况就是这样。