如何在不丢失列名和行名的情况下在 R 中读取 HDFS 中的文件

Question

我的问题是，当我读取一个包含列名（例如 header）的 csv 文件时，列名消失了，并且有 "V1"、"V2"...相反

我有 csv 格式的 mtcars 数据集，这里是预览

model,mpg,cyl,disp,hp,drat,wt,qsec,vs,am,gear,carb
Mazda RX4,21,6,160,110,3.9,2.62,16.46,0,1,4,4
Mazda RX4 Wag,21,6,160,110,3.9,2.875,17.02,0,1,4,4
Datsun 710,22.8,4,108,93,3.85,2.32,18.61,1,1,4,1

我想上传到HDFS上读取，所以我上"HUE"平台上传了文件。我可以在文件管理器中查看它。这是一个小预览：

然后在 R session 中使用 plyrmr I 运行下面的代码：

filename3 <- "/user/sgerony/mtcars.csv"
input(filename3,format=make.input.format(format = "csv", sep=","))

结果是这样的：

                V1   V2  V3    V4  V5   V6    V7    V8 V9 V10  V11  V12
1    Chrysler Imperial 14.7   8   440 230 3.23 5.345 17.42  0   0    3    4
2             Fiat 128 32.4   4  78.7  66 4.08   2.2 19.47  1   1    4    1
3          Honda Civic 30.4   4  75.7  52 4.93 1.615 18.52  1   1    4    2
4       Toyota Corolla 33.9   4  71.1  65 4.22 1.835  19.9  1   1    4    1

如您所见，列名已消失。我做错了什么？

谢谢

Answer 1

这是我找到的解决方案（我真的不喜欢它所以如果你有更好的请分享）。

我将 csv 文件分成两个 csv 文件，一个只包含列名 (mtcars_names.csv)，另一个包含数据 (mtcars_no_names.csv)。然后上传到文件管理器。

filename <- "/user/sgerony/mtcars_no_names.csv"
filename.names <- "/user/sgerony/mtcars_names.csv"
filename.names <- as.data.frame(input(filename.names,
format=make.input.format(format = "csv", sep=",")))

# transform the columns in "character" types
for(i in 1:dim(filename.names)[2]){
  filename.names[,i] <- as.character(filename.names[,i])
}

现在每次写/读文件时我都会编码：

### comlumn name information is once more lost
output(input(filename,format=make.input.format(format = "csv",
sep=",", col.names = filename.names[1,])),
path="/user/sgerony/mtcars_output_csv")

input("/user/sgerony/mtcars_output_csv",
format=make.input.format(format = "csv", 
sep=",", col.names = filename.names[1,]))

如果我生成数据子集，这会变得非常混乱。对于具有不同列名的每个子集，必须生成一个包含列名的新文件

如何在不丢失列名和行名的情况下在 R 中读取 HDFS 中的文件

How to read files in HDFS in R without loosing column and row names

csv

hadoop

r

hdfs