使用 google 数据流从本地计算机读取文件并写入 BigQuery 或 google 存储

Question

有没有办法从本地计算机读取 csv 文件并使用 google 数据流将其写入大查询或存储？如果存在，应该使用什么runner？

所有 google 数据流示例要么从云读取，要么写入云存储或大查询。

我使用 DirectPipelineRunner 从本地计算机读取和写入本地计算机。

Answer 1

DirectPipelineRunner 应该可以解决这个问题；您可以使用 TextIO 从本地输入文件读取并使用 BigQueryIO 写入 BigQuery。