ClickHouse Kafka Engine 可以使用压缩的 JSON 消息吗？

Question

ClickHouse Kafka Engine 可以使用 JSONEachRow 格式使用来自 Kafka 主题的压缩 JSON 消息吗？

它会自动解压缩邮件然后应用 JSON 解析吗？ 它需要任何特殊配置吗？

编辑 我的问题是通过在 Kafka 主题上设置压缩配置来压缩主题是否会使 ClickHouse 无法读取这些消息。

Answer 1

Kafka 引擎按原样使用消息 - 不多也不少。它与从本机文件读取几乎相同，只是消息边界可能需要特殊处理。 ClickHouse 不支持读取除本机序列化块之外的压缩数据文件。所以答案是否定的，它不能使用压缩的 JSON 消息。

Answer 2

可以，只要 ClickHouse 客户端能够理解 Kafka 主题压缩即可。例如，早期版本无法理解 ZStandard 压缩，但它们可以理解，例如活泼。 是JSON还是其他什么的，就看指定的解析方式了。如果这些消息本身是压缩的（尽管是冗余的），那么它们将不会被正确解析，正如@Amos 所说。