numpy.load 以错误的顺序检索保存的数组
numpy.load retrieves savez'ed arrays in the wrong order
我正在使用存储在列表中的 numpy 数组。这些数组没有单独的名称,我只是通过它们在列表中的索引来调用它们。
我需要一起保存和检索它们,因此我使用 numpy.savez
将它们存储到一个文件中。由于我的数组未命名,我只是枚举了列表,numpy.savez
为它们分配了自动名称 "arr_0"、"arr_1",依此类推。
但是当我尝试使用 numpy.load
检索它们时,我发现 numpy.load
以看似随机的顺序列出数组。当然,我可以在恢复我的数组之前对这个列表进行排序,但我觉得很奇怪,没有直接的方法来存储和检索未命名数组的有序列表。
这里有一段测试代码来演示这个东西:
import numpy as np
arr_list = []
for i in range(15):
arr_list.append(np.array(range(i, i+6)).reshape(2, 3))
np.savez('testfile', *arr_list)
with np.load('testfile.npz') as data:
print(data.files)
这是我得到的:
>>> ['arr_1', 'arr_3', 'arr_13', 'arr_11', 'arr_14', 'arr_10', 'arr_8', 'arr_0',
'arr_2', 'arr_9', 'arr_5', 'arr_4', 'arr_6', 'arr_12', 'arr_7']
更重要的是,我从来没有得到两次相同的结果。下次尝试:
>>> ['arr_6', 'arr_11', 'arr_10', 'arr_13', 'arr_0', 'arr_7', 'arr_5', 'arr_3',
'arr_14', 'arr_2', 'arr_8', 'arr_12', 'arr_1', 'arr_9', 'arr_4']
不幸的是,我不能只使用 sorted()
对列表进行排序,因为结果不是我需要的(这就是为什么我给出了一个列表中超过 10 个项目的示例):
>>> ['arr_0', 'arr_1', 'arr_10', 'arr_11', 'arr_12', 'arr_13', 'arr_14', 'arr_2',
'arr_3', 'arr_4', 'arr_5', 'arr_6', 'arr_7', 'arr_8', 'arr_9']
我不明白为什么 numpy.savez
+ numpy.load
会出现这种奇怪的行为。我是不是漏掉了什么,或者我一定要使用正则表达式来解决这个问题?
是由于numpy中savez
的实现。查看 source code of savez 我们看到要保存的数组列表(包含在 args
参数中)被添加到包含要存储的数组的字典中(kwargs
参数)。 args
列表中数组的顺序在此阶段可能会丢失(取决于使用的 Python 版本)。
既然您知道文件名的格式,您可以对它们进行排序
sorted_files = sorted(data.files, key=lambda x:int(x[4:]))
或重新创建列表
sorted_files = ['arr_{}'.format(i) for i in range(len(data.files))]
我正在使用存储在列表中的 numpy 数组。这些数组没有单独的名称,我只是通过它们在列表中的索引来调用它们。
我需要一起保存和检索它们,因此我使用 numpy.savez
将它们存储到一个文件中。由于我的数组未命名,我只是枚举了列表,numpy.savez
为它们分配了自动名称 "arr_0"、"arr_1",依此类推。
但是当我尝试使用 numpy.load
检索它们时,我发现 numpy.load
以看似随机的顺序列出数组。当然,我可以在恢复我的数组之前对这个列表进行排序,但我觉得很奇怪,没有直接的方法来存储和检索未命名数组的有序列表。
这里有一段测试代码来演示这个东西:
import numpy as np
arr_list = []
for i in range(15):
arr_list.append(np.array(range(i, i+6)).reshape(2, 3))
np.savez('testfile', *arr_list)
with np.load('testfile.npz') as data:
print(data.files)
这是我得到的:
>>> ['arr_1', 'arr_3', 'arr_13', 'arr_11', 'arr_14', 'arr_10', 'arr_8', 'arr_0',
'arr_2', 'arr_9', 'arr_5', 'arr_4', 'arr_6', 'arr_12', 'arr_7']
更重要的是,我从来没有得到两次相同的结果。下次尝试:
>>> ['arr_6', 'arr_11', 'arr_10', 'arr_13', 'arr_0', 'arr_7', 'arr_5', 'arr_3',
'arr_14', 'arr_2', 'arr_8', 'arr_12', 'arr_1', 'arr_9', 'arr_4']
不幸的是,我不能只使用 sorted()
对列表进行排序,因为结果不是我需要的(这就是为什么我给出了一个列表中超过 10 个项目的示例):
>>> ['arr_0', 'arr_1', 'arr_10', 'arr_11', 'arr_12', 'arr_13', 'arr_14', 'arr_2',
'arr_3', 'arr_4', 'arr_5', 'arr_6', 'arr_7', 'arr_8', 'arr_9']
我不明白为什么 numpy.savez
+ numpy.load
会出现这种奇怪的行为。我是不是漏掉了什么,或者我一定要使用正则表达式来解决这个问题?
是由于numpy中savez
的实现。查看 source code of savez 我们看到要保存的数组列表(包含在 args
参数中)被添加到包含要存储的数组的字典中(kwargs
参数)。 args
列表中数组的顺序在此阶段可能会丢失(取决于使用的 Python 版本)。
既然您知道文件名的格式,您可以对它们进行排序
sorted_files = sorted(data.files, key=lambda x:int(x[4:]))
或重新创建列表
sorted_files = ['arr_{}'.format(i) for i in range(len(data.files))]