share/access 开发者中的 hdfs 有没有？

Is there away to share/access the hdfs among developers?

我是大数据和 Hive 的新手。需要与其他开发人员合作一个 spark 流应用程序，其中涉及从 Kafka 读取并将其放置在 hive/hdfs 上。另一个开发人员 uses/points 到 hdfs 的相同位置，读取配置单元文件并进行进一步处理。

我的开发环境是 windows 系统上的 Eclipse。其他开发者环境是他机器上的Eclipse。

由于两者都在处理相同的文件，是否可以在我们之间共享 hdfs 路径？

请分享 Spark 开发团队如何处理此类场景的详细信息？

建议最佳实践等

非常感谢，希亚姆

您需要设置多节点 hadoop 集群并将所有开发人员系统 IP 配置为数据节点，以便它们可以共享同一个 HDFS。

Hadoop 的主配置文件：core-site.xml,hdfs-site.xml,mapred-site.xml & yarn-site.xml

完成后，您可以在 HDFS 上安装 Hive 和 Spark。