Kafka 连接 s3 sink 多个分区

Kafka connect s3 sink multiple partitions

我有多个关于 kafka connect S3 接收器连接器的问题

1.I 想知道是否可以使用 kafka 连接的 S3 接收器来保存具有多个分区的记录?

例如我有这个 json 记录:

{
 "DateA":"UNIXTIMEA",
 "DateB":"UNIXTIMEB",
 "Data":"Some Data"
}

(所有字段均为顶级)

是否可以通过以下路径将数据保存在S3中:

s3://sometopic/UNIXTIMEA/UNIXTIMEB

2.Can我改造UNIXTIMEA/UNIXTIMEB 在不更改记录值本身的情况下转换为可读的日期格式? (出于可读性原因)

3.Can 我在 S3 路径中为 UNIXTIMEA 添加前缀? 例如:

s3://DateA=UNIXTIMEA/DateB=UNIXTIMEB/...

我刚开始阅读文档,我正在慢慢掌握事情的窍门, 我仍然没有真正找到这些问题的直接答案。

我想在我的配置中基本上执行所有这些操作,但我怀疑我是否可以 没有自定义分区程序,我想尽快确认这一点。

提前致谢

C.potato

FieldPartioner 确实采用字段名称列表

https://github.com/confluentinc/kafka-connect-storage-common/blob/v11.0.5/partitioner/src/main/java/io/confluent/connect/storage/partitioner/FieldPartitioner.java#L34-L40