为 kafka 消息触发 kubernetes 作业

Question

我有一个 kubernetes 服务，它只在使用来自 Kafka 队列的消息时才做某事。队列不经常有消息，运行只要找到消息就触发服务作为作业会节省资源。

我看到 Kubernetes 具有用于 AMQP 类型消息服务的此功能：https://kubernetes.io/docs/tasks/job/coarse-parallel-processing-work-queue/

鉴于 Kafka 不支持 AMQP，是否有办法针对 Kafka 进行调整？我会切换到不同的消息传递系统，但我有其他服务也从需要 Kafka 的队列中读取。

Answer 1

Kafka 消费者 Service 就是您真正需要的。如果你想节省资源，这可以与 KEDA 自动缩放器配对，这样它可以根据负载或消费者组滞后进行缩放。

或者您可以使用 KNative 等无服务器平台来触发基于 Kafka（或其他消息系统）的事件。

Kafka does not support AMQP

Kafka Connect 应该 能够将 AMQP 桥接到 Kafka。例如。 Apache Camel 有两者的连接器。