NiFi - 100 个表的 QueryDatabaseTable - 通用解决方案

Question

目前有一个使用 QueryDatabaseTable 的流程，它从数据库中读取数据并将数据放入 HDFS。 决定使用 QueryDatabaseTable 因为：

• 用于增量负载的状态
• 还有微调 当表格有数百条记录时。

我的问题是我现在有 100 个表需要相同的流程 (DB => HDFS)。我不想创建相同的流程 100 次。我已经研究了 ListDatabaseTables 这将是完美的，但 QueryDatabaseTable 似乎没有接受任何输入。

有没有人遇到过类似的情况？

Answer 1

QueryDatabaseTable 旨在对 table 进行增量加载，因此必须维护 table 的状态，以便它现在可以在下一次执行时检索什么。因此，它不允许动态 tables，因为这样就需要保留无限量的状态。

ListDatabaseTables 旨在更多地与 GenerateTableFetch 和 ExecuteSQL 一起使用来批量加载数据库 table。