Kafka 与 Amazon MSK 连接

Kafka Connect with Amazon MSK

如何将 Kafka Connect 适配器与 Amazon MSK 一起使用？ 根据 AWS 文档，它支持 Kafka 连接，但没有记录如何设置适配器和使用它。

编辑 2021 年 10 月：MSK Connect 已启动，请参阅 https://aws.amazon.com/blogs/aws/introducing-amazon-msk-connect-stream-data-to-and-from-your-apache-kafka-clusters-using-managed-connectors/

AFAIK Amazon MSK 不提供托管连接器，因此您必须自己 运行 它们。这是通过 运行 连接 Kafka Connect 工作进程（一个 JVM），然后向 运行 提供一个或多个连接器配置来完成的。

从 Kafka Connect worker 的角度来看，它只需要连接到一个 Kafka 集群；无论是 MSK 还是内部部署都不重要，因为它最终 'just' 一个 consumer/producer 下面。

您可以在此处查看更多内容，包括现场演示：https://rmoff.dev/bbuzz19-kafka-connect

有关配置 Kafka Connect 以使用云托管的 Kafka 平台（在本例中为 Confluent Cloud）的示例，请参阅 this article。

如果您对云中的托管连接器感兴趣，check out the connectors Confluent Cloud 中提供的连接器。

免责声明：我为 Confluent 工作 :)

这有两个方面

  1. Kafka Connect 是一个框架，应该与 kafka 代理分开部署。 MSK 仅提供 kafka 代理。如果您想将 Kafka Connect 与 MSK 一起使用，则需要使用 EC2 实例并部署 kafka binaries.Kafka Connect 框架与 kafka

    捆绑在一起

  2. 如果您没有合流订阅或类似订阅，请使用连接器 - 恐怕您的选择非常有限。但话虽如此，您始终可以编写自己的连接器。编写新的连接器并不难，您可以应用特定于业务的逻辑并很快上手。

AWS 现在支持 MSK Connect，这是基于 Kafka Connect 的 MSK 服务的一项新功能，允许您部署为 Kafka connect 构建的托管 Kafka 连接器

在这里查看公告：https://aws.amazon.com/blogs/aws/introducing-amazon-msk-connect-stream-data-to-and-from-your-apache-kafka-clusters-using-managed-connectors/