dataproc 纱线特性的特殊性
Special character in dataproc yarn properties
我找到了创建 dataproc 集群和设置一些 yarn 属性的命令示例。
gcloud dataproc clusters create cluster_name \
--bucket="profiling-job-default" \
--zone=europe-west1-c \
--master-boot-disk-size=500GB \
--worker-boot-disk-size=500GB \
--master-machine-type=n1-standard-16 \
--num-workers=10 \
--worker-machine-type=n1-standard-16 \
--initialization-actions gs://custom_init_gcp.sh \
--metadata MINICONDA_VARIANT=2 \
--properties=^--^yarn:yarn.scheduler.minimum-allocation-vcores=4--capacity-scheduler:yarn.scheduler.capacity.resource-calculator=org.apache.hadoop.yarn.util.resource.DominantResourceCalculator
我注意到 属性 键值之前的特定字符串 ^--^：yarn:yarn.scheduler.minimum-allocation-vcores=4.
^--^是什么意思？这是--的一种逃避？
这记录在哪里？
这是 gcloud 列表和字典类型值的语法 escaping。
这意味着 ^ 之间指定的字符被视为列表和字典标志的值和键值分隔符。
我找到了创建 dataproc 集群和设置一些 yarn 属性的命令示例。
gcloud dataproc clusters create cluster_name \
--bucket="profiling-job-default" \
--zone=europe-west1-c \
--master-boot-disk-size=500GB \
--worker-boot-disk-size=500GB \
--master-machine-type=n1-standard-16 \
--num-workers=10 \
--worker-machine-type=n1-standard-16 \
--initialization-actions gs://custom_init_gcp.sh \
--metadata MINICONDA_VARIANT=2 \
--properties=^--^yarn:yarn.scheduler.minimum-allocation-vcores=4--capacity-scheduler:yarn.scheduler.capacity.resource-calculator=org.apache.hadoop.yarn.util.resource.DominantResourceCalculator
我注意到 属性 键值之前的特定字符串 ^--^：yarn:yarn.scheduler.minimum-allocation-vcores=4.
^--^是什么意思？这是--的一种逃避？
这记录在哪里？
这是 gcloud 列表和字典类型值的语法 escaping。
这意味着 ^ 之间指定的字符被视为列表和字典标志的值和键值分隔符。