从 Google 数据流流作业保存到弹性搜索

Question

我正在通过 Google Dataflow Streaming 作业将数据保存到 BigQuery。

我想把这个数据插入到elasticsearch中以便快速访问。

通过 http 从数据流调用 logstach 是一个好习惯吗？

Answer 1

Apache Beam Java SDK 有一个 connector to read from/write to Elastic search。这应该优化 IO 以与 Beam 模型一致。