连接单列多个不同形状的文件

Question

我有 200 个不同的文件，我需要将它们逐列连接到一个文件中。这 200 个文件在一个目录中，所以我尝试了以下脚本。

path = '/data' 
files = os.listdir(path)

files_txt  = [os.path.join(path,i) for i in files if i.endswith('tsv')]

## Change it into dataframe
dfs = [pd.DataFrame.from_csv(x, sep='\t')[[6]] for x in files_txt]
##Concatenate it
merged = pd.concat(dfs, axis=1)

但它会抛出以下值错误，因为每个文件的形状都不同。我想有一些解决办法。谢谢

这里有错误，

ValueError: Shape of passed values is (149, 13864), indices imply (149, 13860)

Answer 1

索引包含重复项，那么concat将失败，因为它将基于索引加入数据框

dfs = [pd.DataFrame.from_csv(x, sep='\t')[[6]].reset_index(drop=True) for x in files_txt]
##Concatenate it
merged = pd.concat(dfs, axis=1)

使用支票

for x in dfs : 
    print(x.index.is_unique)

为了重现错误

df1=pd.DataFrame({'A':[1,2]})
df2=pd.DataFrame({'A':[1,2]},index=[1,1])
pd.concat([df1,df2],axis=1)

ValueError: Shape of passed values is (2, 5), indices imply (2, 3)

连接单列多个不同形状的文件

Concating single columns multiple files of different shape

python

concat

pandas