Google 云欧洲地区 bigquery 和数据流不匹配

Question

bigquery 数据集的 docs 声明以下欧洲区域可用 (A)：

• 欧洲北部1
• 欧洲西部 3
• 欧洲西部 2
• 欧洲西部6

数据流状态的 docs 这些是可用的欧洲区域 (B)：

• 欧洲西部1
• 欧洲西部 4

如您所见，这些区域之间没有重叠。

我们正在构建一个应用程序

• 从 php 后端创建数据集、大查询表等。
• 使用python 脚本
卸载将数据从各种来源移动到 bigquery 到数据流

我们愚蠢到（事后看来）将我们的项目分成那两个独立完成的部分。两者都有效。任何人都没有想到这会成为我们的问题（现在应该很明显了）：

• php api 无法与 B
一起使用
• 数据流脚本无法与 A
一起使用
• 数据流无法跨区域读写
• 出于合规原因，我们无法在欧盟以外的地方托管我们的数据。

我们如何解决第 22 个问题？

Answer 1

您将 Regional Endpoint 与实际 region/zone 混淆了，工作虚拟机在其中为 Dataflow 管道启动并实际处理数据。

Regional Endpoint 处理元数据并编排您的数据流管道。如果您指定 --zone，那么这就是 Dataflow 的实际工作虚拟机将在其中启动的区域。