向kafka发送消息后，我可以删除Nifi中的文件吗？

Question

嗨，我正在使用 nifi 作为 ETL 工具。

Process IMG

这是我目前的流程。我使用 TailFile 检测 CSV 文件，然后向 Kafka 发送消息。

到目前为止工作正常，但我想在将 csv 的内容发送到 Kafka 后删除 CSV 文件。

有什么办法吗？

谢谢

Answer 1

这取决于您使用 TailFile 的原因。从文档中，

"Tails" a file, or a list of files, ingesting data from the file as it is written to the file

TailFile 用于获取在写入时添加到同一文件的新行。如果你需要尾一个正在写入的文件，什么条件决定它不再被写入？

但是，如果您只是使用本地文件系统中的完整文件，那么您可以使用 GetFile，它提供了在使用后删除文件的选项。

从远程文件系统，您可以使用 ListSFTP and FetchSFTP，它具有要移动或删除的完成策略。