Tensorflow queue runner - 是否可以对特定子集进行排队？
Tensorflow queue runner - is it possible to queue a specific subset?
在 tensorflow 中，我计划构建一些模型，并将其与训练数据的不同子集的其他基线模型进行比较。 IE。我想使用相同的训练数据子集来训练我的模型和基线模型。
以天真的方式实现队列运行器和 TFreader（例如 im2txt），这需要为每个子集选择复制数据，在我的情况下，将需要使用非常大量的磁盘space.
如果有一种方法可以告诉队列只从指定的 id 子集中获取样本，或者忽略不属于给定 id 子集的样本，那将是最好的。
如果我理解正确，忽略样本并非微不足道，因为它需要将来自不同读数的样本拼接成一个批次。
有人知道这样做的方法吗？或者可以建议一种不需要将所有训练数据预加载到 RAM 中的替代方法？
谢谢！
您可以将您的条件编码为 tf.train.maybe_batch
的 keep_input 参数的一部分
在 tensorflow 中，我计划构建一些模型，并将其与训练数据的不同子集的其他基线模型进行比较。 IE。我想使用相同的训练数据子集来训练我的模型和基线模型。
以天真的方式实现队列运行器和 TFreader（例如 im2txt），这需要为每个子集选择复制数据，在我的情况下，将需要使用非常大量的磁盘space.
如果有一种方法可以告诉队列只从指定的 id 子集中获取样本，或者忽略不属于给定 id 子集的样本，那将是最好的。
如果我理解正确，忽略样本并非微不足道，因为它需要将来自不同读数的样本拼接成一个批次。
有人知道这样做的方法吗？或者可以建议一种不需要将所有训练数据预加载到 RAM 中的替代方法？
谢谢！
您可以将您的条件编码为 tf.train.maybe_batch
的keep_input 参数的一部分