保存 4D 张量的最佳文件类型是什么?
What is the best file type to save a 4D tensor?
我有一些数据需要为 3D 卷积网络中的后续步骤进行预处理。数据来自格式如下的文件:
POSITION
x y z (feature 1 x) (feature 1 y) (feature 1 z) (feature 2 x) (feature 2 y ...
1.2 0.54 2.3 0.04 0.2 -0.9 -0.2 0.65 ...
...(more rows of the same format)...
在涉及对位置数据和特征进行操作的其他一些步骤之后,我得到了一个尺寸为 [height][width][depth][features]
的 pytorch 张量,或者等同于一个 numpy 数组,其中前三个是我可以获取的位置数据用于使用颜色绘制特征,[features]
是包含每个特征值的向量。
这些文件非常大,我不想在稍后的处理过程中执行从上面显示的第一种文件格式到 tensor/array 格式的转换。我正在考虑使用 torch.save(tensor, 'file.pt')
。
我的问题是:保存此数据的最佳文件格式是什么,以便以后无需任何预处理即可轻松访问?必须使用 PyTorch 对其进行序列化似乎是一种非常复杂的方式来保存我希望有更多 specific/designated 文件格式的数据类型。
我想我找到了更直接的方法。 Numpy supports saving its arrays as a .npy
file.
程序非常简单。要将数组 array_1
保存到文件 numpy_array_1.npy
中,您需要做的就是:
np.save('numpy_array_1.npy', array_l)
然后将其加载到 array_2
:
array_2 = np.load('numpy_array_1.npy')
我有一些数据需要为 3D 卷积网络中的后续步骤进行预处理。数据来自格式如下的文件:
POSITION
x y z (feature 1 x) (feature 1 y) (feature 1 z) (feature 2 x) (feature 2 y ...
1.2 0.54 2.3 0.04 0.2 -0.9 -0.2 0.65 ...
...(more rows of the same format)...
在涉及对位置数据和特征进行操作的其他一些步骤之后,我得到了一个尺寸为 [height][width][depth][features]
的 pytorch 张量,或者等同于一个 numpy 数组,其中前三个是我可以获取的位置数据用于使用颜色绘制特征,[features]
是包含每个特征值的向量。
这些文件非常大,我不想在稍后的处理过程中执行从上面显示的第一种文件格式到 tensor/array 格式的转换。我正在考虑使用 torch.save(tensor, 'file.pt')
。
我的问题是:保存此数据的最佳文件格式是什么,以便以后无需任何预处理即可轻松访问?必须使用 PyTorch 对其进行序列化似乎是一种非常复杂的方式来保存我希望有更多 specific/designated 文件格式的数据类型。
我想我找到了更直接的方法。 Numpy supports saving its arrays as a .npy
file.
程序非常简单。要将数组 array_1
保存到文件 numpy_array_1.npy
中,您需要做的就是:
np.save('numpy_array_1.npy', array_l)
然后将其加载到 array_2
:
array_2 = np.load('numpy_array_1.npy')