如何顺序处理文件?
How to process files sequentially?
我在本地有大约 1000 个文件 drive.I 需要将这些文件一个接一个地移动到 SQL 服务器中。
因为本地驱动器有类似 file1.csv,file2.csv,..upto file1000.csv
的文件。我确信本地驱动器中的文件数量可能会动态变化。
我可以创建用于将文件移动到 SQL 的模板 Server.But 当文件 1 已完全移动到 SQL 服务器时,我必须处理文件 2。
在不使用 Wait\Notify 处理器的情况下在 NiFi 中这可能吗?
谁能指导我解决这个问题?
处理器中有一个 Concurrent Tasks
属性。
如果您将在每个处理器中设置 1,它们将按顺序 运行。
但也许最好将所有文件插入到临时 table 中,然后 运行 在数据库级别聚合?
使用 EnforceOrder 处理器处理 NiFi-1.2 中顺序可用的文件。0.bin。
https://gist.github.com/ijokarumawak/7e6158460cfcb0b5911acefbb455edf0
我在本地有大约 1000 个文件 drive.I 需要将这些文件一个接一个地移动到 SQL 服务器中。
因为本地驱动器有类似 file1.csv,file2.csv,..upto file1000.csv
的文件。我确信本地驱动器中的文件数量可能会动态变化。
我可以创建用于将文件移动到 SQL 的模板 Server.But 当文件 1 已完全移动到 SQL 服务器时,我必须处理文件 2。
在不使用 Wait\Notify 处理器的情况下在 NiFi 中这可能吗?
谁能指导我解决这个问题?
处理器中有一个 Concurrent Tasks
属性。
如果您将在每个处理器中设置 1,它们将按顺序 运行。
但也许最好将所有文件插入到临时 table 中,然后 运行 在数据库级别聚合?
使用 EnforceOrder 处理器处理 NiFi-1.2 中顺序可用的文件。0.bin。
https://gist.github.com/ijokarumawak/7e6158460cfcb0b5911acefbb455edf0