Kafka Connect InfluxDB 连接器不从 Kafka 主题读取数据

Question

我正在尝试使用 lenses.io 的 influxdb sink 独立的 Kafka Connect。在我在数据库中创建一些保留策略并在 sink conf 中指定其中一个之前，一切似乎都运行良好：

connect.influx.retention.policy=one_hour

然后，在使用新配置启动 Kafka Connect 时，我不断收到：

[2019-11-25 14:54:59,067] INFO Empty list of records received. (com.datamountaineer.streamreactor.connect.influx.InfluxSinkTask:72)

也没有数据存储到 influxdb：

> select * from req
>

因此，我还原了配置，删除了保留策略行并重新启动了 Kafka Connect，但仍然没有数据和相同的消息。另外，我尝试重命名接收器以重置偏移量，但仍然没有骰子。

我做错了什么？如何在没有保留策略的情况下返回工作状态并在设置中正确集成保留策略？

Answer 1

在influxdb中使用保留策略时，需要使用完全限定的测量名称来访问内容。此外，我更改了 influxdb (> show retention policies) 使用的默认策略，但默认情况下接收器使用 autogen 策略。换句话说，以下工作：

# With retention policy specified in config
> select * from one_hour.req
# <Lots of data>
# ...

# With retention policy not specified in config
> select * from autogen.req
# <Lots of data>
# ...

当我尝试将策略设置为现在的默认设置时 one_year，正如预期的那样，只有测量名称就足够了：

# conf
# ...
connect.influx.retention.policy=one_year
# ...

# influx
> select * from req
# <Lots of data>
# ...

TL;DR：当不使用 influxdb 的（当前）默认保留策略时，需要使用测量名称指定保留策略。

Kafka Connect InfluxDB 连接器不从 Kafka 主题读取数据

Kafka Connect InfluxDB Connector not reading data from Kafka topic

influxdb

apache-kafka-connect