从流式数据流管道中写入内存缓存
Writing to memcache from within a streaming dataflow pipeline
是否可以从流式数据流管道写入内存缓存?还是我需要写入 pubsub 并创建另一个计算引擎或应用引擎?
是的,Dataflow worker 可以与您需要的任何外部服务通信;它们只是没有特殊限制或权限的虚拟机。
如果您只是将数据写入内存缓存,Sink API 可能会有用
对于redis,我用redis 客户端创建了DoFn。
如果您需要批量写入,可以做一些技巧。例如:
是否可以从流式数据流管道写入内存缓存?还是我需要写入 pubsub 并创建另一个计算引擎或应用引擎?
是的,Dataflow worker 可以与您需要的任何外部服务通信;它们只是没有特殊限制或权限的虚拟机。
如果您只是将数据写入内存缓存,Sink API 可能会有用
对于redis,我用redis 客户端创建了DoFn。
如果您需要批量写入,可以做一些技巧。例如: