dfs.replication提供复制因子,file.replication提供什么
dfs.replication provides the replication factor, what does file.replication provide
我的理解是 dfs.replication 提供了 HDFS 维护的复制数,在核心-default.xml,我看到 "file.replication" 和 "s3.replication","ftp.replication" 和 "s3native.replication",您能否就这些变量的重要性提供任何输入
Hadoop 支持不同的文件系统实现,所有这些属性都定义了用于其相应文件系统的复制因子。
-----------------------------------------------------------------------------------------------
| Replication Factor Property| FileSystem | URI Scheme | Java Implementation |
| | | | (org.apache.hadoop) |
-----------------------------------------------------------------------------------------------
| dfs.replication | HDFS | hdfs | hdfs.DistriburedFileSystem |
-----------------------------------------------------------------------------------------------
| file.replication | Local | file | fs.LocalFileSystem |
-----------------------------------------------------------------------------------------------
| ftp.replication | FTP | ftp | fs.ftp.FTPFileSystem |
-----------------------------------------------------------------------------------------------
| s3.replication | S3 (block based) | s3 | fs.s3.S3FileSystem |
-----------------------------------------------------------------------------------------------
| s3native.replication | S3 (native) | s3n | fs.s3native.NativeS3FileSystem |
-----------------------------------------------------------------------------------------------
如果 fs.defaultFS
中定义的文件系统方案是 hdfs://
那么将永远不会使用除 HDFS 之外的复制属性。
我的理解是 dfs.replication 提供了 HDFS 维护的复制数,在核心-default.xml,我看到 "file.replication" 和 "s3.replication","ftp.replication" 和 "s3native.replication",您能否就这些变量的重要性提供任何输入
Hadoop 支持不同的文件系统实现,所有这些属性都定义了用于其相应文件系统的复制因子。
-----------------------------------------------------------------------------------------------
| Replication Factor Property| FileSystem | URI Scheme | Java Implementation |
| | | | (org.apache.hadoop) |
-----------------------------------------------------------------------------------------------
| dfs.replication | HDFS | hdfs | hdfs.DistriburedFileSystem |
-----------------------------------------------------------------------------------------------
| file.replication | Local | file | fs.LocalFileSystem |
-----------------------------------------------------------------------------------------------
| ftp.replication | FTP | ftp | fs.ftp.FTPFileSystem |
-----------------------------------------------------------------------------------------------
| s3.replication | S3 (block based) | s3 | fs.s3.S3FileSystem |
-----------------------------------------------------------------------------------------------
| s3native.replication | S3 (native) | s3n | fs.s3native.NativeS3FileSystem |
-----------------------------------------------------------------------------------------------
如果 fs.defaultFS
中定义的文件系统方案是 hdfs://
那么将永远不会使用除 HDFS 之外的复制属性。