Kafka 与 Kafka Connect 术语 - Sources & Sinks 或 Producer & Consumers

Kafka vs. Kafka Connect terminology - Sources & Sinks or Producers & Consumers

我正在阅读 Kafka 和 Kafka Connect。该文档在 Kafka Connect 文档中以一种通用的方式提到了 'Kafka sources' 和 'Kafka sinks' 。我不确定这两个术语是否特定于 Kafka Connect,或者它们只是指生产者和消费者。

如果您需要将数据带入您的 kafka 集群或将数据复制到您的 kafka 之外(将数据从/复制到 kafka),有许多工具可以支持您完成该任务,

您不妨使用 Kafka 消费者/生产者编写和维护您的代码API

为了避免为“已经解决的问题”编写新代码而苦苦挣扎,kafka 社区开发了 Kafka Connect 框架。

“kafka 方式”是利用其名为 kafka connect 的内部生态系统工具。 kafka connect 是一个分布式框架,它有许多社区或供应商支持的连接器。开源或专有,有一个庞大且不断增长的中心“市场”可满足任何需求。

连接器是在框架内运行的一段可插入代码(JAR 文件),有两种类型的连接器,接收器连接器是“从 kafka 读取并接收器到目标”,源连接器是“从数据中读取”来源并写信给卡夫卡”。 为了设置连接器,您只需设置一个包含所有必需参数的配置文件,而无需任何编程技能。没有代码。为了简单而失去一些灵活性