通过云函数订阅 google pub/sub 消息与使用数据流
Subscribing to google pub/sub messages via cloud functions versus using dataflow
我有一个 pubsub 主题，每秒大约发布 1 条消息。消息大小约为 1kb。我需要将这些数据实时获取到 cloudsql 和 bigquery 中。
数据以稳定的速度传输，none 数据丢失或延迟至关重要。将它们多次写入目的地不是问题。数据库中所有数据的大小约为1GB。
使用由主题触发的 google 云函数与 google 数据流来解决此问题有哪些 dis/advantages？
Dataflow 专注于在将数据加载到接收器之前对数据进行转换。当您想执行 windowed data（聚合、求和、计数...）的计算时，Dataflow (Beam) 的流模式非常强大。如果您的用例需要稳定的速率，那么当您部署新版本的管道时，Dataflow 可能是一个挑战（如果双倍值不是问题，希望可以轻松解决！）
Cloud Function 是云的粘合剂。根据您的描述，它似乎非常合适。在主题上，创建 2 个订阅和 2 个函数（每个订阅一个）。一个在 BigQuery 中编写，另一个在 CLoud SQL 中编写。这种并行化确保您在处理中的延迟最低。
我有一个 pubsub 主题，每秒大约发布 1 条消息。消息大小约为 1kb。我需要将这些数据实时获取到 cloudsql 和 bigquery 中。 数据以稳定的速度传输，none 数据丢失或延迟至关重要。将它们多次写入目的地不是问题。数据库中所有数据的大小约为1GB。
使用由主题触发的 google 云函数与 google 数据流来解决此问题有哪些 dis/advantages？
Dataflow 专注于在将数据加载到接收器之前对数据进行转换。当您想执行 windowed data（聚合、求和、计数...）的计算时，Dataflow (Beam) 的流模式非常强大。如果您的用例需要稳定的速率，那么当您部署新版本的管道时，Dataflow 可能是一个挑战（如果双倍值不是问题，希望可以轻松解决！）
Cloud Function 是云的粘合剂。根据您的描述，它似乎非常合适。在主题上，创建 2 个订阅和 2 个函数（每个订阅一个）。一个在 BigQuery 中编写，另一个在 CLoud SQL 中编写。这种并行化确保您在处理中的延迟最低。