同步未连接的 NiFi 进程组或流?t/can?
Synchronize NiFi process groups or flows that don't/can't connect?
如问题所述,是否有某种方法可以同步 t/can 未在 UI 中连接的 NiFi 进程组或管道?
例如。我有一个我想要 getFTP->putHDFS->moveHDFS
的过程(最终实际上是 getFTP->putHDFS->listHDFS->moveHDFS
,请参阅 )。但是,listHDFS
似乎不接受任何传入连接。尝试对像 P1{getFTP->putHDFS->outport}->P2{inport->listHDFS->moveHDFS}
这样的进程组做一些事情也会遇到同样的问题(listHDFS
似乎无法接受任何传入连接)。我们不想 moveHDFS
在我们甚至从 getFTP
得到任何东西之前,但鉴于上述情况,我不明白如何以正确的顺序同步这些操作。
NiFi 的新手,但我认为这是一个常见的用例,并且必须有一些我缺少的 NiFi 风格的方法。在这方面的建议将不胜感激。谢谢。
我不确定是什么要求阻止您将从 FTP 检索到的文件直接写入所需的 HDFS 位置,或者这是否是 "write n files to HDFS with a .
starting the filename and then rename all when some certain threshold is reached" 场景。
ListHDFS
不采用任何传入关系,因为它不应由传入事件触发,而应按 timer/CRON 时间表触发。每次它 运行s,它都会产生 n 个流文件,其中每个流文件都引用一个 HDFS 文件,该文件已被检测到自上次执行以来已写入文件系统。为此,处理器存储本地状态。
在这种情况下,您的流程段不需要连接。您将有 "flow segment A" 执行 FTP -> HDFS 写入 (GetFTP -> PutHDFS
) 并且您将有一个独立的 "flow segment B" 列出 HDFS 目录,读取文件描述符(但不是文件的内容,除非您也使用 FetchHDFS
)并移动它们 (ListHDFS -> MoveHDFS
)。 ListHDFS
处理器将不断地 运行,但如果它在 运行 期间没有检测到任何新文件,它只会让步并执行空操作。一旦 PutHDFS
处理器完成将文件写入 HDFS 文件系统的任务,在下一次 ListHDFS
执行时,它将检测该文件并生成描述它的流文件。
您可以根据自己的喜好调整调度,但总的来说,这是 NiFi 流中非常常见的模式。
如问题所述,是否有某种方法可以同步 t/can 未在 UI 中连接的 NiFi 进程组或管道?
例如。我有一个我想要 getFTP->putHDFS->moveHDFS
的过程(最终实际上是 getFTP->putHDFS->listHDFS->moveHDFS
,请参阅 listHDFS
似乎不接受任何传入连接。尝试对像 P1{getFTP->putHDFS->outport}->P2{inport->listHDFS->moveHDFS}
这样的进程组做一些事情也会遇到同样的问题(listHDFS
似乎无法接受任何传入连接)。我们不想 moveHDFS
在我们甚至从 getFTP
得到任何东西之前,但鉴于上述情况,我不明白如何以正确的顺序同步这些操作。
NiFi 的新手,但我认为这是一个常见的用例,并且必须有一些我缺少的 NiFi 风格的方法。在这方面的建议将不胜感激。谢谢。
我不确定是什么要求阻止您将从 FTP 检索到的文件直接写入所需的 HDFS 位置,或者这是否是 "write n files to HDFS with a .
starting the filename and then rename all when some certain threshold is reached" 场景。
ListHDFS
不采用任何传入关系,因为它不应由传入事件触发,而应按 timer/CRON 时间表触发。每次它 运行s,它都会产生 n 个流文件,其中每个流文件都引用一个 HDFS 文件,该文件已被检测到自上次执行以来已写入文件系统。为此,处理器存储本地状态。
在这种情况下,您的流程段不需要连接。您将有 "flow segment A" 执行 FTP -> HDFS 写入 (GetFTP -> PutHDFS
) 并且您将有一个独立的 "flow segment B" 列出 HDFS 目录,读取文件描述符(但不是文件的内容,除非您也使用 FetchHDFS
)并移动它们 (ListHDFS -> MoveHDFS
)。 ListHDFS
处理器将不断地 运行,但如果它在 运行 期间没有检测到任何新文件,它只会让步并执行空操作。一旦 PutHDFS
处理器完成将文件写入 HDFS 文件系统的任务,在下一次 ListHDFS
执行时,它将检测该文件并生成描述它的流文件。
您可以根据自己的喜好调整调度,但总的来说,这是 NiFi 流中非常常见的模式。