使用 FileStreamSink 连接器将 Kafka 数据写入二进制文件
Write Kafka data to binary file using FileStreamSink connector
我正在尝试使用 FileStreamSink 连接器备份 Kafka 数据。
我知道有更好的选择，但我的公司已经有了文件备份基础架构（基于 NetApp），所以我想将 Kafka 数据转储到二进制文件并备份该文件。
由于存储在 Kafka 中的数据是加密的，因此我们没有要使用或转换的模式。
我尝试使用此设置，但似乎效果不佳：
key.converter=org.apache.kafka.connect.converters.ByteArrayConverter
value.converter=org.apache.kafka.connect.converters.ByteArrayConverter
你对这个案例有什么建议吗？谢谢。
在 Kafka connect - string cannot be casted to struct
查看我的回答
但是，本质上，FileStreamSink 只能写入记录的字符串值，并不适合生产使用，而是作为编写您自己的接收器连接器的示例，这将需要您实现源连接器以读取将二进制数据返回到主题
如果您不想实施自己的连接器，则需要实施其他消费者或考虑将您的数据镜像到辅助的备份 Kafka 集群。
如其他地方所述，仅备份主题不会备份其配置或与该主题关联的任何消费者组
我正在尝试使用 FileStreamSink 连接器备份 Kafka 数据。 我知道有更好的选择，但我的公司已经有了文件备份基础架构（基于 NetApp），所以我想将 Kafka 数据转储到二进制文件并备份该文件。
由于存储在 Kafka 中的数据是加密的，因此我们没有要使用或转换的模式。 我尝试使用此设置，但似乎效果不佳： key.converter=org.apache.kafka.connect.converters.ByteArrayConverter value.converter=org.apache.kafka.connect.converters.ByteArrayConverter
你对这个案例有什么建议吗？谢谢。
在 Kafka connect - string cannot be casted to struct
查看我的回答但是，本质上，FileStreamSink 只能写入记录的字符串值，并不适合生产使用，而是作为编写您自己的接收器连接器的示例，这将需要您实现源连接器以读取将二进制数据返回到主题
如果您不想实施自己的连接器，则需要实施其他消费者或考虑将您的数据镜像到辅助的备份 Kafka 集群。
如其他地方所述，仅备份主题不会备份其配置或与该主题关联的任何消费者组