如何从小批量获取原始索引？

Question

假设我有一个小批量作为此代码的结果：

test_minibatch = reader_test.next_minibatch(10)

我怎样才能得到这个小批量的索引作为原始数据的参考？假设我的测试数据集是 100 行。我怎么知道 100 行原始行中的哪 10 行在小批量中？

Answer 1

您能否创建一个具有唯一 ID（通常称为 GUID/UUID）的列并在 reader 中读取它。这是将样本映射到主集的一种方法。它可以很好地扩展跨多个磁盘和分布式计算框架的非常大的数据集。