np.load 到路径文件
np.load to a paths file
我有一个文件，其中包含每个 .npy 文件的所有路径名。我有大约 500 万个文件，所以我想避免不必要的 fors。
我需要做的是像这样将它们全部加载到我的数据变量中：
数据=np.load(input_file_w_pathnames)
我知道这行不通，但我想知道是否有人知道一种巧妙的方法来做类似的事情，或者至少是一种有效地做到这一点的方法。
np.load 采用文件名或文件对象（您打开的文件）。它使用标准的 Python 文件阅读工具。它不需要多个名称或文件。
np.stack([np.load(f) for f in ['x.npy','x.npy','x.npy']])
可以将每个文件中的数组join成一个更大的数组，还是按文件加载做一个文件。
请记住 numpy 'efficiency' 是通过在编译代码中执行任务来实现的 - 它更快是因为编译，而不是因为它绕过了任务的串行性质。而且此任务出现的频率不够高，无法保证使用特殊代码。
我假设您可以轻松处理将文件名加载到列表中的问题。
我有一个文件，其中包含每个 .npy 文件的所有路径名。我有大约 500 万个文件，所以我想避免不必要的 fors。
我需要做的是像这样将它们全部加载到我的数据变量中：
数据=np.load(input_file_w_pathnames)
我知道这行不通，但我想知道是否有人知道一种巧妙的方法来做类似的事情，或者至少是一种有效地做到这一点的方法。
np.load 采用文件名或文件对象（您打开的文件）。它使用标准的 Python 文件阅读工具。它不需要多个名称或文件。
np.stack([np.load(f) for f in ['x.npy','x.npy','x.npy']])
可以将每个文件中的数组join成一个更大的数组，还是按文件加载做一个文件。
请记住 numpy 'efficiency' 是通过在编译代码中执行任务来实现的 - 它更快是因为编译，而不是因为它绕过了任务的串行性质。而且此任务出现的频率不够高，无法保证使用特殊代码。
我假设您可以轻松处理将文件名加载到列表中的问题。