Keras：从 HDF5 和 CSV 加载小批量
Keras: Loading minibatches from HDF5 and CSV
我有一个很大的数据集，太大而无法放入 RAM，它可以作为 HDF5 或 CSV 提供。我怎样才能将它以小批量的形式输入到 Keras 中？另外，这会为我洗牌吗，还是我需要预先洗牌数据集？
（当输入是 Numpy recarray 时，我也对此感兴趣；因为我相信 Keras 希望输入是 ndarray。）
而且，如果我想在学习之前在 Keras 中做一些轻量级预处理（例如，对数据应用一些 Python 函数来改变表示），可以添加吗？
在此处查看 Keras 可用的 fit_generator 方法：https://keras.io/models/sequential/#sequential-model-methods
它适合由 Python 生成器逐批生成的数据模型（您可以在其中编写改组逻辑，因为生成器在您的控制之下）。
您可以在生成器中应用调用预处理。
希望对您有所帮助。
我有一个很大的数据集，太大而无法放入 RAM，它可以作为 HDF5 或 CSV 提供。我怎样才能将它以小批量的形式输入到 Keras 中？另外，这会为我洗牌吗，还是我需要预先洗牌数据集？
（当输入是 Numpy recarray 时，我也对此感兴趣；因为我相信 Keras 希望输入是 ndarray。）
而且，如果我想在学习之前在 Keras 中做一些轻量级预处理（例如，对数据应用一些 Python 函数来改变表示），可以添加吗？
在此处查看 Keras 可用的 fit_generator 方法：https://keras.io/models/sequential/#sequential-model-methods 它适合由 Python 生成器逐批生成的数据模型（您可以在其中编写改组逻辑，因为生成器在您的控制之下）。
您可以在生成器中应用调用预处理。
希望对您有所帮助。