将本地 HDFS 文件系统浏览器与 IntelliJ IDEA 集成
Integrate local HDFS filesystem browser with IntelliJ IDEA
我使用我大学的 HDFS 集群研究了 MapReduce 范式，通过 HUE 访问它。从 HUE 我可以浏览文件，read/edit 它们等等。
所以在那个集群中我需要：
- 我放置 MapReduce.jar
的普通文件夹
- 访问 HDFS 中的结果
我非常喜欢编写 MapReduce 应用程序，所以我已经正确配置了一个本地 HDFS 作为个人游乐场，但现在我只能通过非常浪费时间的命令行（例如 those）访问它。
我可以通过SFTP远程主机连接访问"directly"到我彻底的IntelliJ IDEA的HDFS，下面是"user normal folder"：
这里是 HUE 的 HDFS，我从中得到了结果：
显然在我的本地机器上 "normal user folder" 是我使用 shell 的地方，但我只能通过命令行浏览 HDFS 以获取结果。
我希望我能为本地 HDFS 做这样的事情。以下是我能做的最好的：
我知道可以通过 http://localhost:50070/explorer.html#/ 访问 HDFS，但它非常糟糕。
我找了一些插件，但没有找到任何有用的东西。在漫长的运行中使用命令行变得很累。
I can access "directly" to the HDFS of my thorough IntelliJ IDEA by the mean of SFTP remote host ...
Following is the best I could do...
这些都不是 HDFS。
- 是您通过 SSH 连接到的机器的用户文件夹
- 只是你本地机器上的NameNode数据目录
Hue 使用 WebHDFS，并通过 http://namenode:50070
连接
您需要的是一个可以 connect to the same API 的插件，它不通过 SSH，或者一个简单的文件挂载。
如果您想要文件装载，您需要像任何其他网络附加存储一样设置 NFS Gateway, and you mount the NFS drive。
在生产环境中，您可以编写代码，将其推送到 Github，然后 Jenkins（例如）会为您构建代码并将其推送到 HDFS。
我使用我大学的 HDFS 集群研究了 MapReduce 范式，通过 HUE 访问它。从 HUE 我可以浏览文件，read/edit 它们等等。
所以在那个集群中我需要：
- 我放置 MapReduce.jar 的普通文件夹
- 访问 HDFS 中的结果
我非常喜欢编写 MapReduce 应用程序，所以我已经正确配置了一个本地 HDFS 作为个人游乐场，但现在我只能通过非常浪费时间的命令行（例如 those）访问它。
我可以通过SFTP远程主机连接访问"directly"到我彻底的IntelliJ IDEA的HDFS，下面是"user normal folder"：
这里是 HUE 的 HDFS，我从中得到了结果：
显然在我的本地机器上 "normal user folder" 是我使用 shell 的地方，但我只能通过命令行浏览 HDFS 以获取结果。
我希望我能为本地 HDFS 做这样的事情。以下是我能做的最好的：
我知道可以通过 http://localhost:50070/explorer.html#/ 访问 HDFS，但它非常糟糕。
我找了一些插件，但没有找到任何有用的东西。在漫长的运行中使用命令行变得很累。
I can access "directly" to the HDFS of my thorough IntelliJ IDEA by the mean of SFTP remote host ...
Following is the best I could do...
这些都不是 HDFS。
- 是您通过 SSH 连接到的机器的用户文件夹
- 只是你本地机器上的NameNode数据目录
Hue 使用 WebHDFS，并通过 http://namenode:50070
您需要的是一个可以 connect to the same API 的插件，它不通过 SSH，或者一个简单的文件挂载。
如果您想要文件装载，您需要像任何其他网络附加存储一样设置 NFS Gateway, and you mount the NFS drive。
在生产环境中，您可以编写代码，将其推送到 Github，然后 Jenkins（例如）会为您构建代码并将其推送到 HDFS。