spark UI - 了解使用的内存指标
spark UI - Understand metrics memory used
能否请您帮助我了解 spark 上的指标UI内存：已使用 10 MB（总共 552.6 GB）
PartitionNumber.nbExecutors = conf.getInt("spark.executor.instances", 20)
PartitionNumber.nbPartitions = PartitionNumber.nbExecutors * conf.getInt("spark.executor.cores", 2) * 3
conf.set("spark.sql.shuffle.partitions", PartitionNumber.nbPartitions.toString())
使用的内存是10Mb，可用内存是552Gb，对吗？
如果您能提供任何帮助或建议，我们将不胜感激
谢谢
所有执行程序可用的总内存：552.6 Gb，所有执行程序使用的总内存：10 Mb
您可以在 "Storage memory" 列中看到它（Spark 执行程序可用于存储和缓存的内存 rdds/dfs）。每个执行程序使用 9.1 Gb 中的 169.1 Kb，并且有 61 个执行程序：
61 * 169.1 Kb ~= 10 Mb
61 * 9.1 Gb ~= 555 Gb
能否请您帮助我了解 spark 上的指标UI内存：已使用 10 MB（总共 552.6 GB）
PartitionNumber.nbExecutors = conf.getInt("spark.executor.instances", 20)
PartitionNumber.nbPartitions = PartitionNumber.nbExecutors * conf.getInt("spark.executor.cores", 2) * 3
conf.set("spark.sql.shuffle.partitions", PartitionNumber.nbPartitions.toString())
使用的内存是10Mb，可用内存是552Gb，对吗？
如果您能提供任何帮助或建议，我们将不胜感激
谢谢
所有执行程序可用的总内存：552.6 Gb，所有执行程序使用的总内存：10 Mb
您可以在 "Storage memory" 列中看到它（Spark 执行程序可用于存储和缓存的内存 rdds/dfs）。每个执行程序使用 9.1 Gb 中的 169.1 Kb，并且有 61 个执行程序：
61 * 169.1 Kb ~= 10 Mb 61 * 9.1 Gb ~= 555 Gb