Kafka 连接 s3 sink 多个分区
Kafka connect s3 sink multiple partitions
我有多个关于 kafka connect S3 接收器连接器的问题
1.I 想知道是否可以使用 kafka 连接的 S3 接收器来保存具有多个分区的记录?
例如我有这个 json 记录:
{
"DateA":"UNIXTIMEA",
"DateB":"UNIXTIMEB",
"Data":"Some Data"
}
(所有字段均为顶级)
是否可以通过以下路径将数据保存在S3中:
s3://sometopic/UNIXTIMEA/UNIXTIMEB
2.Can我改造UNIXTIMEA/UNIXTIMEB
在不更改记录值本身的情况下转换为可读的日期格式?
(出于可读性原因)
3.Can 我在 S3 路径中为 UNIXTIMEA 添加前缀?
例如:
s3://DateA=UNIXTIMEA/DateB=UNIXTIMEB/...
我刚开始阅读文档,我正在慢慢掌握事情的窍门,
我仍然没有真正找到这些问题的直接答案。
我想在我的配置中基本上执行所有这些操作,但我怀疑我是否可以
没有自定义分区程序,我想尽快确认这一点。
提前致谢
C.potato
我有多个关于 kafka connect S3 接收器连接器的问题
1.I 想知道是否可以使用 kafka 连接的 S3 接收器来保存具有多个分区的记录?
例如我有这个 json 记录:
{
"DateA":"UNIXTIMEA",
"DateB":"UNIXTIMEB",
"Data":"Some Data"
}
(所有字段均为顶级)
是否可以通过以下路径将数据保存在S3中:
s3://sometopic/UNIXTIMEA/UNIXTIMEB
2.Can我改造UNIXTIMEA/UNIXTIMEB 在不更改记录值本身的情况下转换为可读的日期格式? (出于可读性原因)
3.Can 我在 S3 路径中为 UNIXTIMEA 添加前缀? 例如:
s3://DateA=UNIXTIMEA/DateB=UNIXTIMEB/...
我刚开始阅读文档,我正在慢慢掌握事情的窍门, 我仍然没有真正找到这些问题的直接答案。
我想在我的配置中基本上执行所有这些操作,但我怀疑我是否可以 没有自定义分区程序,我想尽快确认这一点。
提前致谢
C.potato