Cloud Dataflow 作业扩展超出最大工作器值
Cloud Dataflow job scaling beyond max worker value
数据流作业 ID:2016-01-13_16_00_09-15016519893798477319
管道配置了以下 worker/scaling 配置:
- 最少 2 个工人
- 最多 50 个工人
但是,该工作扩展到 55 名工人。为什么最大工人价值 50 没有兑现?
Jan 14, 2016, 11:00:10 AM
(77f7e53b4884ba02): Autoscaling: Enabled for job 2016-01-13_16_00_09-15016519893798477319 between 1 and 1000000 worker processes.
Jan 14, 2016, 11:00:17 AM
(374d4f69f65e2506): Worker configuration: n1-standard-1 in us-central1-a.
Jan 14, 2016, 11:00:18 AM
(28acda8454e90ad2): Starting 2 workers...
Jan 14, 2016, 11:01:49 AM
(cf611e5d4ce4784d): Autoscaling: Resizing worker pool from 2 to 50.
Jan 14, 2016, 11:06:20 AM
(36c68efd7f1743cf): Autoscaling: Resizing worker pool from 50 to 55.
这原来是我们代码中的一个错误。我们调用了错误的方法。我们需要调用 setMaxNumWorkers
,而不是 setNumWorkers
。
数据流作业 ID:2016-01-13_16_00_09-15016519893798477319
管道配置了以下 worker/scaling 配置:
- 最少 2 个工人
- 最多 50 个工人
但是,该工作扩展到 55 名工人。为什么最大工人价值 50 没有兑现?
Jan 14, 2016, 11:00:10 AM
(77f7e53b4884ba02): Autoscaling: Enabled for job 2016-01-13_16_00_09-15016519893798477319 between 1 and 1000000 worker processes.
Jan 14, 2016, 11:00:17 AM
(374d4f69f65e2506): Worker configuration: n1-standard-1 in us-central1-a.
Jan 14, 2016, 11:00:18 AM
(28acda8454e90ad2): Starting 2 workers...
Jan 14, 2016, 11:01:49 AM
(cf611e5d4ce4784d): Autoscaling: Resizing worker pool from 2 to 50.
Jan 14, 2016, 11:06:20 AM
(36c68efd7f1743cf): Autoscaling: Resizing worker pool from 50 to 55.
这原来是我们代码中的一个错误。我们调用了错误的方法。我们需要调用 setMaxNumWorkers
,而不是 setNumWorkers
。