avro.codec 在 hdfs 接收器连接器中无法快速压缩

Question

我正在使用 confluent hdfs 接收器连接器，我正在以 avro 格式插入数据。

我希望使用快速压缩来压缩数据。

Kafka: Does Confluent’s HDFS connector support Snappy compression? 我使用了上面线程中提到的解决方案

我添加了配置

avro.codec=活泼

但是，它对我不起作用与在中一样，创建的文件未使用 snappy 压缩进行压缩。通常当我运行启动作业时，我的文件会附加 .snappy 文件扩展名但是，在这种情况下，我没有看到这种情况发生。我假设我的文件没有被 snappy 压缩。

我是否遗漏了任何其他配置？

Answer 1

如果您有可用的 Avro 工具，您可以使用它来检查文件

$ java -jar avro-tools-1.8.1.jar getmeta kafka-connect-file.avro

avro.schema {"type":"record","name":"...
avro.codec  snappy

还有十六进制编辑器

$ cat kafka-connect-file.avro | xxd | grep -B1 snappy

00001c00: 656e 7422 7d14 6176 726f 2e63 6f64 6563  ent"}.avro.codec
00001c10: 0c73 6e61 7070 7900 9fd1 5fb0 2a3a 45ba  .snappy..._.*:E.

要将文件转换为非 snappy Avro 文件，您可以使用 recodec 的 Avro 工具。

$ java -jar avro-tools-1.8.1.jar recodec kafka-connect-file.avro > non-snappy.avro
$ ls -l *.avro  # Should see slight difference in Avro file sizes

avro.codec 在 hdfs 接收器连接器中无法快速压缩

avro.codec not working in hdfs sink connector for snappy compression

hdfs

avro

apache-kafka

apache-kafka-connect

confluent-platform