使用 Dataproc 将 Google Pub/Sub 与 Flink Streaming 一起使用的正确方法是什么？
What is the proper way to use Google Pub/Sub with Flink Streaming using Dataproc?
我正在尝试找出 运行 Dataproc 上的 Apache Flink 并使用 Google Pub/Sub 作为 source/sink 的正确方法。当我创建 Dataproc 集群时，应用 flink initialization action to the most recent image 1.4 后，将安装 Flink 1.6.4。
问题是 flink-connector-gcp-pubsub 只能从 Flink 1.9.0 版本开始使用。
所以我的问题是将所有这些一起使用的正确方法是什么？我应该用最新的 Flink 构建自己的 gce 镜像吗？已经有了吗？
如您所说，flink-connector-gcp-pubusub 仅适用于 Flink 1.9.0。所以你有两个选择：
- 要么自己实现连接器
- 根据 flink initialization actions
构建您自己的图像
我不建议实现连接器，因为它是一项复杂的任务，需要对 Flink 有深入的了解，而以 Flink 1.6.4 为例，构建自己的映像应该相对容易
我通过 运行在 Kubernetes 中使用 Flink 1.9.0 解决了这个问题。这样我不依赖任何人，可以运行任何我需要的版本。
我正在尝试找出 运行 Dataproc 上的 Apache Flink 并使用 Google Pub/Sub 作为 source/sink 的正确方法。当我创建 Dataproc 集群时，应用 flink initialization action to the most recent image 1.4 后，将安装 Flink 1.6.4。
问题是 flink-connector-gcp-pubsub 只能从 Flink 1.9.0 版本开始使用。
所以我的问题是将所有这些一起使用的正确方法是什么？我应该用最新的 Flink 构建自己的 gce 镜像吗？已经有了吗？
如您所说，flink-connector-gcp-pubusub 仅适用于 Flink 1.9.0。所以你有两个选择：
- 要么自己实现连接器
- 根据 flink initialization actions 构建您自己的图像
我不建议实现连接器，因为它是一项复杂的任务，需要对 Flink 有深入的了解，而以 Flink 1.6.4 为例，构建自己的映像应该相对容易
我通过 运行在 Kubernetes 中使用 Flink 1.9.0 解决了这个问题。这样我不依赖任何人，可以运行任何我需要的版本。