从 .npy 文件制作 pandas 数据框

Question

我正在尝试从 .npy 文件创建一个 pandas 数据帧，当使用 np.load 读取时，returns 一个包含字典的 numpy 数组。我最初的本能是提取字典，然后使用 pd.from_dict 创建数据框，但每次都失败，因为我似乎无法从 np.load 返回的数组中获取字典。看起来它只是 np.array([dictionary, dtype=object])，但我无法通过索引数组或类似的东西来获取字典。我也尝试过使用 np.load('filename').item() 但结果仍然无法被 pandas 识别为字典。

或者，我尝试了 pd.read_pickle，但也没有用。

如何将这个 .npy 字典放入我的数据框中？这是不断失败的代码...

import pandas as pd
import numpy as np
import os

targetdir = '../test_dir/'

filenames = []
successful = []
unsuccessful = []
for dirs, subdirs, files in os.walk(targetdir):
    for name in files:
        filenames.append(name)
        path_to_use = os.path.join(dirs, name)
        if path_to_use.endswith('.npy'):
            try:
                file_dict = np.load(path_to_use).item()
                df = pd.from_dict(file_dict)
                #df = pd.read_pickle(path_to_use)
                successful.append(path_to_use)
            except:
                unsuccessful.append(path_to_use)
                continue

print str(len(successful)) + " files were loaded successfully!"
print "The following files were not loaded:"
for item in unsuccessful:
    print item + "\n"

print df

Answer 1

假设您加载 .npy 后，项目 (np.load(path_to_use).item()) 看起来与此类似；

{'user_c': 'id_003', 'user_a': 'id_001', 'user_b': 'id_002'}

因此，如果您需要使用上面的字典提出如下所示的 DataFrame；

  user_name user_id
0    user_c  id_003
1    user_a  id_001
2    user_b  id_002

可以使用；

df = pd.DataFrame(list(x.item().iteritems()), columns=['user_name','user_id'])

如果您有如下字典列表；

users = [{'u_name': 'user_a', 'u_id': 'id_001'}, {'u_name': 'user_b', 'u_id': 'id_002'}]

您可以简单地使用

df = pd.DataFrame(users)

想出一个类似的DataFrame；

     u_id  u_name
0  id_001  user_a
1  id_002  user_b

好像你有一本类似这样的字典；

data = {
    'Center': [[0.1, 0.2, 0.3], [0.4, 0.5, 0.6]],
    'Vpeak': [1.1, 2.2],
    'ID': ['id_001', 'id_002']
}

在这种情况下，您可以简单地使用；

df = pd.DataFrame(data)  # df = pd.DataFrame(file_dict.item()) in your case

想出一个类似的DataFrame；

    Center          ID      Vpeak
0   [0.1, 0.2, 0.3] id_001  1.1
1   [0.4, 0.5, 0.6] id_002  2.2

如果你的字典中有ndarray，做一些类似于下面的预处理；并用它来创建 df;

for key in data:
    if isinstance(data[key], np.ndarray):
        data[key] = data[key].tolist()

df = pd.DataFrame(data)

从 .npy 文件制作 pandas 数据框

Making a pandas dataframe from a .npy file

python

dictionary

pickle

pandas