文件大小不正确的文件系统映像

Question

我开始使用 hadoop fsimage 来验证我们的 ETL 过程是否正确加载了数据（具有适当的文件大小）。我解析图像并通过 Impala 使其可用。我注意到，对于我的查询显示为错误加载的所有文件（文件大小错误），fsimage 中显示的文件大小为 2147483647。
但是，如果我用 hadoop fs -du 查看 HDFS，我会得到一个不同的（正确的）文件大小。知道为什么 fsimage 会显示这个数字吗？如果我得到一张新图像并再次搜索，无论我查看过去多少天，该值仍然不正确。

编辑：获取图像的代码不是我开发的：

sudo ssh hostname 'hdfs oiv -p Delimited -i $(ls -t /dfs/nn/current/fsimage_* | grep -v md5 | head -1) -o /dev/stdout 2>/dev/null' | grep -v "/.Trash/" |sed -e 's/\r/\r/g' | awk 'BEGIN { FS="\t"; OFS="\t" } [=10=] !~ /_impala_insert_staging/ && ([=10=] ~ /^\/user\/hive\/warehouse\/cz_prd/ ||   
[=10=] ~ /^\/user\/hive\/warehouse\/cz_tst/) { split(,a,"/"); db=a[5]; table=a[6]; gsub(".db$", "", table); } db &&  ~ /^d/ {par=""; for(i=7;i<=length(a);i++) par=par"/"a[i] } db &&  !~ /^d/ { par=""; for(i=7;i<=length(a) - 1;i++) par=par"/"a[i]; file=a[length(a)] } NR > 1 { print db,table, par, file, [=10=] }' | hadoop fs -put -f - 
/user/hive/warehouse/cz_prd_mon_ma.db/hive_warehouse_files/fsimage.tsv

Answer 1

像我一样愚蠢，我将 SQL table 定义键入了 int。
当我用 hadoop fs -cat command 显示文件时，它看起来不错，所以我将列更改为 bigint，现在它可以正确显示大小。

文件大小不正确的文件系统映像

Filesystem image with incorrect filesizes

filesystems

hadoop

snapshot

hdfs