Flink 有什么更好的设计 Sql

Question

我在flink sql data processing有一个场景，有很多kafka消息（json格式）。所有消息内容相似但不相同。我创建了许多 flink table 与消息的一一对应，我意识到很难维护 kafka 主题。

event1:
{
    "id": "id_001",
    "type": "in",
    "create_time": 1635116133089, 
    "uid":"uid_001"
}
event2:
{
    "id":"id_002",
    "status":"login",
    "type":"in"
}

我的flink sql一般都使用watermark、windows、cep

我的痛点是我有各种各样的 table 似乎是多余的。我的案例有更好的 table 设计吗？

Answer 1

我最初的想法是看看您是否可以在使用可选字段的同时为您的事件定义一个通用架构。然后，您可以 post 将所有事件都归为一个主题，因为某些字段可以保留为空。