Google 通过 HTTP 创建但未在 SDK 或查看器中列出的 Dataproc 集群
Google Dataproc cluster created via HTTP but not listed in SDK or viewer
我目前正在 Google Cloud Platform 上工作，以 运行 Spark Jobs in the cloud。为此，我计划使用 Google Cloud Dataproc。
这是我正在自动化的工作流程：
- 在 Google 云存储上上传一个 csv 文件，它将作为我的 Spark 作业的输入
- 上传时，触发一个 Google Cloud Functions，它应该创建集群、提交作业并通过 Dataproc API 可用的 HTTP
关闭集群
我可以使用 google apis nodejs client (http://google.github.io/google-api-nodejs-client/latest/dataproc.html) 从我的 Google 云函数创建集群。但问题是我无法在 Dataproc 集群查看器上看到这个集群，甚至无法使用 Gcloud sdk 看到这个集群：gcloud dataproc clusters list。
但是，我可以在 Google Api 资源管理器上看到我新创建的集群：https://developers.google.com/apis-explorer/#p/dataproc/v1/dataproc.projects.regions.clusters.list.
请注意，我正在当前项目中创建集群。
使用 gcloud sdk 列出时看不到该集群，我可能做错了什么？
预先感谢您的帮助。
此致。
我打赌它与 "region" 字段有关。开箱即用的 Cloud SDK 默认为 "global" 区域 [1]。尝试使用带有 --region 标志的 dataproc Cloud SDK 命令（例如，gcloud dataproc clusters list --region）
[1] https://cloud.google.com/dataproc/docs/concepts/regional-endpoints
我目前正在 Google Cloud Platform 上工作，以 运行 Spark Jobs in the cloud。为此，我计划使用 Google Cloud Dataproc。
这是我正在自动化的工作流程：
- 在 Google 云存储上上传一个 csv 文件，它将作为我的 Spark 作业的输入
- 上传时，触发一个 Google Cloud Functions，它应该创建集群、提交作业并通过 Dataproc API 可用的 HTTP 关闭集群
我可以使用 google apis nodejs client (http://google.github.io/google-api-nodejs-client/latest/dataproc.html) 从我的 Google 云函数创建集群。但问题是我无法在 Dataproc 集群查看器上看到这个集群，甚至无法使用 Gcloud sdk 看到这个集群：gcloud dataproc clusters list。
但是，我可以在 Google Api 资源管理器上看到我新创建的集群：https://developers.google.com/apis-explorer/#p/dataproc/v1/dataproc.projects.regions.clusters.list.
请注意，我正在当前项目中创建集群。
使用 gcloud sdk 列出时看不到该集群，我可能做错了什么？
预先感谢您的帮助。
此致。
我打赌它与 "region" 字段有关。开箱即用的 Cloud SDK 默认为 "global" 区域 [1]。尝试使用带有 --region 标志的 dataproc Cloud SDK 命令（例如，gcloud dataproc clusters list --region）
[1] https://cloud.google.com/dataproc/docs/concepts/regional-endpoints