如何在没有 Confluent 的情况下使用 Kafka Connect 将数据从 Kafka 发送到 AWS S3?
How to send data to AWS S3 from Kafka using Kakfa Connect without Confluent?
我有一个 Apache Kafka 2.0.0 的本地实例,它 运行 非常好。在我的测试中,我从 Twitter 生成和使用数据并将它们放在特定主题 twitter_tweets 中,一切正常。但是现在我想使用 de connector Kafka Connect S3 使用 Kafka Connect 使用主题 twitter_tweets 并且不使用 Confluent-CLI 显然将数据存储在 AWS S3 中。
我可以在没有 Confluent 的情况下执行此操作吗?任何人都有例子或东西可以帮助我吗?
without Confluent
S3 Sink 开源; Apache Kafka Connect 也是如此。
Connect 框架并非特定于 Confluent
例如,您可以使用 Kafka Connect Docker 映像,或者您可以使用 confluent-hub
在您自己的 Kafka Connect 安装上安装 S3 Connect。
我有一个 Apache Kafka 2.0.0 的本地实例,它 运行 非常好。在我的测试中,我从 Twitter 生成和使用数据并将它们放在特定主题 twitter_tweets 中,一切正常。但是现在我想使用 de connector Kafka Connect S3 使用 Kafka Connect 使用主题 twitter_tweets 并且不使用 Confluent-CLI 显然将数据存储在 AWS S3 中。
我可以在没有 Confluent 的情况下执行此操作吗?任何人都有例子或东西可以帮助我吗?
without Confluent
S3 Sink 开源; Apache Kafka Connect 也是如此。
Connect 框架并非特定于 Confluent
例如,您可以使用 Kafka Connect Docker 映像,或者您可以使用 confluent-hub
在您自己的 Kafka Connect 安装上安装 S3 Connect。