如何在 google-cloud-ml 作业中或从 Google 云存储中加载 numpy npz 文件？

Question

我有一个 google-cloud-ml 作业需要从 gs 存储桶加载 numpy .npz 文件。我按照了解如何从 gs 加载 .npy 文件，但它对我不起作用，因为 .npz 文件被压缩了。

这是我的代码：

from StringIO import StringIO
import tensorflow as tf
import numpy as np
from tensorflow.python.lib.io import file_io

f = StringIO(file_io.read_file_to_string('gs://my-bucket/data.npz'))
data = np.load(f)

这是错误消息：

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xa2 in position 10: invalid start byte

显然，将数据编码为 str 是不正确的，但我不确定如何解决这个问题。

有人可以帮忙吗？谢谢！

Answer 1

尝试使用 io.BytesIO，它具有与 Python 3:

向前兼容的额外好处

import io
import tensorflow as tf
import numpy as np
from tensorflow.python.lib.io import file_io

f = io.BytesIO(file_io.read_file_to_string('gs://my-bucket/data.npz'),
               binary_mode=True)
data = np.load(f)

Answer 2

原来我需要在file_io.read_file_to_string()中将二进制标志设置为True。

这是工作代码：

from io import BytesIO
import tensorflow as tf
import numpy as np
from tensorflow.python.lib.io import file_io

f = BytesIO(file_io.read_file_to_string('gs://my-bucket/data.npz', binary_mode=True))
data = np.load(f)

这适用于压缩和未压缩的 .npz 文件。

Answer 3

另一种方法是（注意 TF 早期版本和后期版本之间的区别）：

import numpy as np
from tensorflow.python.lib.io import file_io
from tensorflow import __version__ as tf_version

if tf_version >= '1.1.0':
    mode = 'rb'
else: # for TF version 1.0
    mode = 'r'

f_stream = file_io.FileIO('mydata.npz', mode)
d = np.load( BytesIO(f_stream.read()) )

同样，对于 pickle 文件：

import pickle
d = pickle.load(file_io.FileIO('mydata.pickle', mode))

如何在 google-cloud-ml 作业中或从 Google 云存储中加载 numpy npz 文件？

How to load numpy npz files in google-cloud-ml jobs or from Google Cloud Storage?

google-cloud-ml