您将如何从 PubSubIO 检索消息和可选属性?
How would you retrieve message and optional attributes from PubSubIO?
我有一个关于 PubSub 的主题,我想在数据流上创建一个管道,从主题中读取数据,根据消息数据对它们进行分类,并进一步读取属性键值对。
在使用 PubSubIO 的读取转换将消息和属性转换为 PCollection 后,有没有办法区分消息和属性?
遗憾的是,Dataflow 的 PubsubIO API 目前不处理 Pubsub 消息的元数据和属性。我想不出一个简单的解决方法。
这是我们希望尽快改进的地方。这项工作被跟踪为 BEAM-53。请在那里查看最新状态。
我有一个关于 PubSub 的主题,我想在数据流上创建一个管道,从主题中读取数据,根据消息数据对它们进行分类,并进一步读取属性键值对。 在使用 PubSubIO 的读取转换将消息和属性转换为 PCollection 后,有没有办法区分消息和属性?
遗憾的是,Dataflow 的 PubsubIO API 目前不处理 Pubsub 消息的元数据和属性。我想不出一个简单的解决方法。
这是我们希望尽快改进的地方。这项工作被跟踪为 BEAM-53。请在那里查看最新状态。