PHP 云数据存储和云数据流

Question

我旨在通过 GAE Flex (PHP) 将原始数据从 IoT 设备保存到 Cloud DataStore。我还想通过 Cloud DataFlow 将这些数据带到 BigQuery。但是，我找不到表达在 DataStore 和 DataFlow 服务之间读取和转储数据的方式的标准或官方文档。

Answer 1

实现此目的的最简单方法是使用 BigQuery 加载云数据存储区备份的能力。本质上只是将定期备份安排到 GCS 存储桶中，然后将备份从 GCS 加载到 BigQuery 中。 [documentation].

如果要使用Dataflow，可以使用Java或Python中的DatastoreIO源（抱歉，这里没有PHP）。 [documentation]

将查询结果读入 PCollection：

Pipeline p = Pipeline.create(options);
PCollection<Entity> entities = p.apply(
   DatastoreIO.v1().read()
       .withProjectId(projectId)
       .withQuery(myQueryObject));

然后把这个PCollection写到你想要数据的地方。