从流式数据流管道中写入内存缓存

Writing to memcache from within a streaming dataflow pipeline

是否可以从流式数据流管道写入内存缓存?还是我需要写入 pubsub 并创建另一个计算引擎或应用引擎?

是的,Dataflow worker 可以与您需要的任何外部服务通信;它们只是没有特殊限制或权限的虚拟机。

如果您只是将数据写入内存缓存,Sink API 可能会有用

对于redis,我用redis 客户端创建了DoFn。 如果您需要批量写入,可以做一些技巧。例如: