是否有一些好的开源连接器可以实现从 InfluxDB 到 Flink 的数据传输
Is there exist some good open-source connectors that achieve the data transmission from InfluxDB to Flink
我的团队在尝试构建我们自己的时态数据库系统时遇到了一些问题。在每一个开始,我们都试图了解Influx DB和Flink之间的数据传输过程。我们的底层思路是:Flink 从 influxDB 中读取数据,Flink 使用这些数据基于 Flink 的 ML 库进行一些建模。 (如图中红圈处)。然而,我们只找到一些开源存储库提供了可以将数据从 Flink 发送到 InfluxDB 的接收器(例如 Flink InfluxDB Connector)。因此,如果您知道一些像我描述的那样的好例子,请告诉我。非常感谢。
您可以构建自己的水槽,很简单。实施扩展 RichSinkFunction and use the influxdb library
的接收器
你可以看一个RichSinkFunction的例子
我不相信有人为 InfluxDB 实现了 Flink 源连接器。但是 InfluxDB 有一个 subscriptions 的概念,这可能会有所帮助。
如果您的目标是从 InfluxDB 流式传输数据,我会查看 Kapacitor。据我所知,目前没有 InfluxDB 的源函数。此外,坦率地说,InfluxDB 不太可能提供那种会促使您使用像 Flink 这样的分布式处理系统的数据量,因为它针对特定数据的高写入速度和快速查询进行了优化。
我的团队在尝试构建我们自己的时态数据库系统时遇到了一些问题。在每一个开始,我们都试图了解Influx DB和Flink之间的数据传输过程。我们的底层思路是:Flink 从 influxDB 中读取数据,Flink 使用这些数据基于 Flink 的 ML 库进行一些建模。 (如图中红圈处)。然而,我们只找到一些开源存储库提供了可以将数据从 Flink 发送到 InfluxDB 的接收器(例如 Flink InfluxDB Connector)。因此,如果您知道一些像我描述的那样的好例子,请告诉我。非常感谢。
您可以构建自己的水槽,很简单。实施扩展 RichSinkFunction and use the influxdb library
的接收器你可以看一个RichSinkFunction的例子
我不相信有人为 InfluxDB 实现了 Flink 源连接器。但是 InfluxDB 有一个 subscriptions 的概念,这可能会有所帮助。
如果您的目标是从 InfluxDB 流式传输数据,我会查看 Kapacitor。据我所知,目前没有 InfluxDB 的源函数。此外,坦率地说,InfluxDB 不太可能提供那种会促使您使用像 Flink 这样的分布式处理系统的数据量,因为它针对特定数据的高写入速度和快速查询进行了优化。