Dataflow worker 没有启动

Question

我有一个 Cloud Dataflow 管道，如下所示：

1. 从云 PubSub 读取
2. 做一些改造，编写CloudSql和GCS

最初没有设置任何 max workers 和 num of Workers 它工作正常但是需要很长时间来处理大型数据集，然后我指定一些 maxNumWorkers 说 60 和 numWorkers 到 6 并且它很好但是我们在处理中丢失了很多数据结束

我们也试过这个

--autoscaling_algorithm=THROUGHPUT_BASED --max_num_workers=5

静止作业从一名工人开始，不会自动扩展。

但是，Dataflow worker 似乎并没有启动并自动平衡负载。

Answer 1

我想建议您启用 Dataflow Streaming Engine 功能，因为与 Dataflow worker 处理和自动缩放的默认架构相比，它根据管道的 CPU 利用率提供更灵敏的自动缩放性能.

存在与 Cloud Dataflow 的吞吐量和输入行为相关的问题。您可以跟踪改进 here。请单击 +1 以使其对 Dataflow 工程团队更加可见。

另外，您可以查看相关资源是否存在配额问题。对于每个作业，Dataflow 都会创建一个实例组。工作虚拟机通过实例组启动，每个工作虚拟机占用资源。所有这些资源（例如实例组、IP 地址、CPUs 等）都可以通过配额进行限制。关注 documentation. What I've found is similar 数据流工程师的回答。

希望以上信息对您有用。