如何将防火墙 rule/network 标记设置为 google 数据流管道

Question

我正在尝试从 google 数据流应用程序连接到 cassandra。我们的 Cassandra 戒指也在 google 云端。当我们必须通过 dataproc 上的 spark 连接到 Cassandra 时，我们通过传递“--tags cassandra”来创建集群，这允许 dataproc 上的应用程序运行连接到 cassandra。有没有办法在数据流上设置标签？

Answer 1

您是否考虑尝试一下，请像这样设置防火墙规则：

Network: <your cassandra network>
Source Filter: "Instance tags"
Source Tags: "dataflow"
Allowed protocols and ports: <port you use to connect to cassandra>
Target Tags: "cassandra"

默认情况下，数据流服务启动的所有 GCE VM 都应使用 "dataflow" 标记（您看到没有标记的实例了吗？）。所以我怀疑这将允许从所有 Dataflow 实例到您的 Cassandra 实例的流量。

希望这对你有用

Answer 2

截至目前，直到 Apache Beam 版本 2.19.0。数据流没有为其虚拟机设置网络标记的规定。相反，在创建防火墙规则时，我们应该为数据流添加一个标签。并且必须将标签名称指定为 dataflow。任何其他标签都不起作用。 https://cloud.google.com/dataflow/docs/guides/routes-firewall

gcloud compute firewall-rules create FIREWALL_RULE_NAME \
    --network NETWORK \
    --action allow \
    --direction DIRECTION \
    --target-tags dataflow \
    --source-tags dataflow \
    --priority 0 \
    --rules tcp:12345-12346

如何将防火墙 rule/network 标记设置为 google 数据流管道

how to set firewall rule/network tag to a google dataflow pipeline

google-cloud-platform

google-cloud-dataflow