如何将 Pandas DataFrame 加载到 TensorFlow 中以进行高效的批量训练?
How to load a Pandas DataFrame into TensorFlow for efficient batch training?
更具体地说,我想从该 DataFrame 加载不同特征组的批次,但我不知道该怎么做!
假设我有一个包含特征 A
、B
和 C
的 DataFrame。
我的 TensorFlow 代码中有一个 batch_size x 1
张量的占位符,它应该代表特征 A
,而我的 TensorFlow 代码中的另一个占位符是 batch_size x 2
张量,它应该代表特征 A
代表两个特征 B
和 C
.
当然,我可以遍历 Pandas DataFrame 并使用 feed_dict
进行批量训练,但那样效率很低。
如何将 DataFrame 加载到 TensorFlow 的高效数据处理管道中,以便我可以根据需要将其输入占位符 1 和占位符 2?
根据 TensorFlow 2.0 文档,建议使用:tf.data.Dataset.from_tensor_slices
.
完整教程可在此处获取:https://www.tensorflow.org/tutorials/load_data/pandas_dataframe
注意:您可能需要重构代码,因为 tf.placeholder()
与 eager execution 不兼容。我个人会从我的代码库中完全删除它。
更具体地说,我想从该 DataFrame 加载不同特征组的批次,但我不知道该怎么做!
假设我有一个包含特征 A
、B
和 C
的 DataFrame。
我的 TensorFlow 代码中有一个 batch_size x 1
张量的占位符,它应该代表特征 A
,而我的 TensorFlow 代码中的另一个占位符是 batch_size x 2
张量,它应该代表特征 A
代表两个特征 B
和 C
.
当然,我可以遍历 Pandas DataFrame 并使用 feed_dict
进行批量训练,但那样效率很低。
如何将 DataFrame 加载到 TensorFlow 的高效数据处理管道中,以便我可以根据需要将其输入占位符 1 和占位符 2?
根据 TensorFlow 2.0 文档,建议使用:tf.data.Dataset.from_tensor_slices
.
完整教程可在此处获取:https://www.tensorflow.org/tutorials/load_data/pandas_dataframe
注意:您可能需要重构代码,因为 tf.placeholder()
与 eager execution 不兼容。我个人会从我的代码库中完全删除它。