apache beam 如何访问 bigtable 数据?
How does apache beam access bigtable data?
如果 BigtableIO.Read 在数据流中是 运行,数据是通过 bigtable 节点访问还是直接进入 bigtable tablets?
client requests go through a front-end server before they are sent to a Cloud Bigtable node
接着说:
A Cloud Bigtable table is sharded into blocks of contiguous rows, called tablets to help balance the workload of queries... Tablets are stored on Colossus, Google's file system, in SSTable format
(关注的是,如果有一个数据流作业 运行ning,同时用户正在发出肯定会通过节点的个人请求,是否会有来自节点的少量或大量争用数据流作业。我猜如果数据流作业通过节点,与直接访问平板电脑相比,竞争会明显更多。)
Beam BigTable 连接器使用 Cloud BigTable 的 public API 因此请求将通过 BigTable 前端服务器节点。
有关 BigTable 客户端 API 使用 Beam 连接器的更多详细信息,请参阅 here。
如果 BigtableIO.Read 在数据流中是 运行,数据是通过 bigtable 节点访问还是直接进入 bigtable tablets?
client requests go through a front-end server before they are sent to a Cloud Bigtable node
接着说:
A Cloud Bigtable table is sharded into blocks of contiguous rows, called tablets to help balance the workload of queries... Tablets are stored on Colossus, Google's file system, in SSTable format
(关注的是,如果有一个数据流作业 运行ning,同时用户正在发出肯定会通过节点的个人请求,是否会有来自节点的少量或大量争用数据流作业。我猜如果数据流作业通过节点,与直接访问平板电脑相比,竞争会明显更多。)
Beam BigTable 连接器使用 Cloud BigTable 的 public API 因此请求将通过 BigTable 前端服务器节点。
有关 BigTable 客户端 API 使用 Beam 连接器的更多详细信息,请参阅 here。