重命名在 hadoop - Spark 中创建的文件
Rename files created in hadoop - Spark
通过write 在HDFS 中创建的文件有自己的命名约定。要将其更改为自定义名称,可以使用 hadoop fs -mv oldname newname
通过脚本选择
Spark/Hadoop 中是否有任何其他选项可以为创建的文件提供自定义名称。
Apache Spark 不为 hdfs 中的文件系统操作提供任何 Api。但是您始终可以使用 Hadoop 文件系统 API 来重命名 HDFS 中的文件。 Check 这里提供了可用的 Hadoop 文件系统 API 的更多详细信息。对于重命名,以下将起作用:
val conf = new Configuration();
val fileSystem = FileSystem.get(conf);
fileSystem.mkdir(new Path(newhdfs_dirPath));
fileSystem.rename(new Path(existinghdfs_dirpath+oldname), new Path(newhdfs_dirPath+newname));
通过write 在HDFS 中创建的文件有自己的命名约定。要将其更改为自定义名称,可以使用 hadoop fs -mv oldname newname
Spark/Hadoop 中是否有任何其他选项可以为创建的文件提供自定义名称。
Apache Spark 不为 hdfs 中的文件系统操作提供任何 Api。但是您始终可以使用 Hadoop 文件系统 API 来重命名 HDFS 中的文件。 Check 这里提供了可用的 Hadoop 文件系统 API 的更多详细信息。对于重命名,以下将起作用:
val conf = new Configuration();
val fileSystem = FileSystem.get(conf);
fileSystem.mkdir(new Path(newhdfs_dirPath));
fileSystem.rename(new Path(existinghdfs_dirpath+oldname), new Path(newhdfs_dirPath+newname));