Cloud Dataproc 使用 BigQuery 连接器读取 BigQuery 视图
Cloud Dataproc to read BigQuery Views using BigQuery Connector
是否可以让 Cloud Dataproc 使用 BigQuery 连接器读取 BigQuery 视图?
此外,对于用例来说,Apache Spark(Dataproc) 中的某些工作负载为 运行,而 BigQuery 中的某些工作负载为 运行 相同数据 =>
将数据以 avro 编码格式保存在 Google Cloud Storage(GCS) 中是否更好
(或者)
将数据放在 BigQuery 中是否更好,是否可以只公开 BigQuery 中的授权视图以供 Cloud Dataproc 使用 BigQuery Connector 访问?
不,这不可能,因为 BigQuery 连接器将 BigQuery 表导出到 GCS,但 BigQuery API 目前不支持导出 BigQuery Views:
You cannot run a BigQuery job that exports data from a view.
是否可以让 Cloud Dataproc 使用 BigQuery 连接器读取 BigQuery 视图?
此外,对于用例来说,Apache Spark(Dataproc) 中的某些工作负载为 运行,而 BigQuery 中的某些工作负载为 运行 相同数据 => 将数据以 avro 编码格式保存在 Google Cloud Storage(GCS) 中是否更好 (或者) 将数据放在 BigQuery 中是否更好,是否可以只公开 BigQuery 中的授权视图以供 Cloud Dataproc 使用 BigQuery Connector 访问?
不,这不可能,因为 BigQuery 连接器将 BigQuery 表导出到 GCS,但 BigQuery API 目前不支持导出 BigQuery Views:
You cannot run a BigQuery job that exports data from a view.