我可以使用 Apache NIFI 将文件传输到 HDFS 系统吗？

Question

如果是，请指导我执行此操作的基本步骤。我滚动页面并意识到可以使用 core-site.xml

Answer 1

您可以使用 PutHDFS 处理器轻松地将文件传输到 HDFS 文件系统。

看下面这个Link.,

在此处理器中，您必须指定以下属性才能将文件传输到 HDFS。

1.Hadoop 配置资源：-文件或逗号分隔的文件列表

/Hadoop/conf/core-site.xml,/Hadoop/conf/hdfs-site.xml,/Hadoop/conf/yarn-site.xml,/Hadoop/conf/mapred-site.xml

2.Directory: 指定您的 HDFS 目录的位置

/FilesFromNiFi/

3.Conflict策略：(append/replace/ignore/fail)

append

例如：

如果您需要将文件从本地驱动器移动到 HDFS 意味着使用以下 NiFi 工作流程

GetFile-->PutHDFS

GetFile-->Just give your input directory.

putHDFS-->Specify your HDFS location

您需要将处理器拖入 UI，如下图所示。,

参考这个link将这两个处理器GetFile和putHDFS拖入NiFiUI

如果您遇到任何问题，请告诉我。

May I use Apache NIFI for transfering files to HDFS system.