从 PubSub 摄取 CDAP

Question

我正在尝试将 PubSub 消息中的数据加载到 GCS 文件中。 简单管道：PubSub source -> JSON Parser -> GCS sink。

由于 PubSub 只接受 utf-8 格式的数据参数，我如何在 CDAP 中对其进行解码？ 我应该构建一个实现解码功能的自定义插件，还是使用 PuSub 消息中的属性而不是 'data' 将我的数据作为字符串传递更好？

Answer 1

我使用 Projector 插件而不是 PubSub 源和 GCS 接收器之间的 JSON 解析器解决了这个问题。 Projector 将 PubSub 源的字节消息属性转换为字符串（纯文本）。