Kafka消费者超时或要下载的消息数
Kafka consumer timeout or number of messages to be downloaded
我从 kafka 读取了消息，但是我遇到了问题。是否有参数强制结束消息下载，例如一个小时以后？例如一个小时后开始超时或中止进程。
kafka-console-consumer.bat --bootstrap-server qa-kafka-prod-worker01:9080 --topic test.test.topic1 --from-beginning --consumer-property group.id=READ_DATA> C:\Kafka\topic1_%DATE%.txt
CLI 工具没有这样的时间参数。您需要编写代码来实现该逻辑
如果您只需要 X 条消息，那么 --max-messages X，尽管在这些消息到达之前它仍然会挂起
如果您想将消息转储到定时 window 中，则 Kafka Connect HDFS 接收器可以使用 file:// URI
写入本地文件系统
我从 kafka 读取了消息，但是我遇到了问题。是否有参数强制结束消息下载，例如一个小时以后？例如一个小时后开始超时或中止进程。
kafka-console-consumer.bat --bootstrap-server qa-kafka-prod-worker01:9080 --topic test.test.topic1 --from-beginning --consumer-property group.id=READ_DATA> C:\Kafka\topic1_%DATE%.txt
CLI 工具没有这样的时间参数。您需要编写代码来实现该逻辑
如果您只需要 X 条消息，那么 --max-messages X，尽管在这些消息到达之前它仍然会挂起
如果您想将消息转储到定时 window 中，则 Kafka Connect HDFS 接收器可以使用 file:// URI