GCP 数据流、Dataproc、Bigtable

Question

我正在选择服务来编写 JSON 消息并将其从云 Pub/Sub 转换为 BigQuery，用于 Google 云上的数据管道。我想尽量减少服务成本。我还想监控和容纳大小会有所不同的输入数据量，而人工干预最少。我该怎么办？

一个。使用 Cloud Dataproc 运行 您的转换。监控集群的 CPU 利用率。通过命令行调整集群中工作节点的数量。

乙。使用 Cloud Dataproc 运行 您的转换。使用诊断命令生成操作输出存档。定位瓶颈，调整集群资源

C。使用 Cloud Dataflow 运行 您的转换。使用 Stackdriver 监控作业系统延迟。为工作实例使用默认的自动缩放设置。

D.使用 Cloud Dataflow 运行 您的转换。监视作业抽样的总执行时间。将作业配置为在需要时使用非默认的 Compute Engine 机器类型。

Answer 1

C!

在 pubsub 上使用 Dataflow 来转换您的数据并将行写入 BQ。您可以直接从数据流监控 ETL 管道，并在顶部使用 stackdriver。 Stackdriver 也可用于启动事件等

使用自动缩放功能最大限度地减少手动操作的次数。基本上当此解决方案设置正确时，它根本不需要工作。