如何在 Keras 中不迭代的多输出模型训练期间加载数据？

Question

我有一个 Keras 模型，在 TensorFlow 2 中有 1 个输入和 2 个输出。调用 model.fit 时，我想将数据集作为 x=train_dataset 传递并调用 model.fit 一次。 train_dataset 是用 tf.data.Dataset.from_generator 生成的：x1, y1, y2.

我可以运行训练的唯一方法如下：

for x1, y1,y2 in train_dataset:
    model.fit(x=x1, y=[y1,y2],...)

如何告诉 TensorFlow 在没有显式 for 循环的情况下解压变量和训练？使用 for 循环使许多事情变得不那么实用， train_on_batch.

的用法也是如此。

如果我想运行 model.fit(train_dataset, ...) 函数不理解 x 和 y 是什么，甚至模型定义如下：

model = Model(name ='Joined_Model',inputs=self.x, outputs=[self.network.y1, self.network.y2])

它抛出一个错误，它期望 2 个目标而得到 1 个，即使数据集有 3 个变量，也可以在循环中迭代。

数据集和小批量生成为：

def dataset_joined(self, n_epochs, buffer_size=32):
    dataset = tf.data.Dataset.from_generator(
        self.mbatch_gen_joined,
        (tf.float32, tf.float32,tf.int32),
        (tf.TensorShape([None, None, self.n_feat]),
            tf.TensorShape([None, None, self.n_feat]),
            tf.TensorShape([None, None])),
        [tf.constant(n_epochs)]
        )
    dataset = dataset.prefetch(buffer_size)
    return dataset

    def mbatch_gen_joined(self, n_epochs):
    for _ in range(n_epochs):
        random.shuffle(self.train_s_list)
        start_idx, end_idx = 0, self.mbatch_size
        for _ in range(self.n_iter):
            s_mbatch_list = self.train_s_list[start_idx:end_idx]
            d_mbatch_list = random.sample(self.train_d_list, end_idx-start_idx)
            s_mbatch, d_mbatch, s_mbatch_len, d_mbatch_len, snr_mbatch, label_mbatch, _ = \
                self.wav_batch(s_mbatch_list, d_mbatch_list)
            x_STMS_mbatch, xi_bar_mbatch, _ = \
                self.training_example(s_mbatch, d_mbatch, s_mbatch_len,
                d_mbatch_len, snr_mbatch)
            #seq_mask_mbatch = tf.cast(tf.sequence_mask(n_frames_mbatch), tf.float32)
            start_idx += self.mbatch_size; end_idx += self.mbatch_size
            if end_idx > self.n_examples: end_idx = self.n_examples

            yield x_STMS_mbatch, xi_bar_mbatch, label_mbatch

Answer 1

使用 yield(x1, [y1,y2]) 这样 model.fit 就会理解您的生成器输出。

Answer 2

Keras 模型期望 Python 生成器或 tf.data.Dataset 对象以 (input_data, target_data)（或 (input_data, target_data, sample_weights)）格式的元组形式提供输入数据。如果模型有多个 input/output 层，input_data 或 target_data 中的每一个都可以而且应该是 list/tuple。因此，在你的代码中，生成的数据也应该兼容这种预期的格式：

yield x_STMS_mbatch, (xi_bar_mbatch, label_mbatch)  # <- the second element is a tuple itself

此外，在传递给 from_generator 方法的参数中也应考虑到这一点：

dataset = tf.data.Dataset.from_generator(
    self.mbatch_gen_joined,
    output_types=(
        tf.float32,
        (tf.float32, tf.int32)
    ),
    output_shapes=(
        tf.TensorShape([None, None, self.n_feat]),
        (
            tf.TensorShape([None, None, self.n_feat]),
            tf.TensorShape([None, None])
        )
    ),
    args=(tf.constant(n_epochs),)
)

如何在 Keras 中不迭代的多输出模型训练期间加载数据？

How to load data during training of a multi-output model without iteration in Keras?

python

keras

tensorflow

tensorflow-datasets

tensorflow2.0