是否可以通过 https 从 Google Dataflow 连接到互联网?
Is it possible to connect to the internet over https from Google Dataflow?
我想使用管道将 Google 存储中的文档发送到从中提取数据的 Web 服务,然后再继续进行 ETL。
是的,完全可以通过 HTTPS 从 Google Cloud Dataflow 连接到其他 Web 服务。您可以在数据流转换中向 Web 服务发出尽可能多的 HTTPS 请求。
另一方面,我建议将数据提取逻辑编写为数据流转换以获得更快的结果。在执行 HTTPS 请求并将文件从 Google 云存储发送到 Web 端点(假定 GCP 中不存在)时,应考虑出口成本。
我想使用管道将 Google 存储中的文档发送到从中提取数据的 Web 服务,然后再继续进行 ETL。
是的,完全可以通过 HTTPS 从 Google Cloud Dataflow 连接到其他 Web 服务。您可以在数据流转换中向 Web 服务发出尽可能多的 HTTPS 请求。
另一方面,我建议将数据提取逻辑编写为数据流转换以获得更快的结果。在执行 HTTPS 请求并将文件从 Google 云存储发送到 Web 端点(假定 GCP 中不存在)时,应考虑出口成本。