在 Keras 中使用有状态 LSTM 训练多变量多序列回归问题

Question

我有 P 个过程的时间序列，每个过程的长度各不相同，但都有 5 个变量（维度）。我正在尝试预测测试过程的估计寿命。我正在 Keras 中使用有状态 LSTM 来解决这个问题。但是我不确定我的训练过程是否正确。

我将每个序列分成长度为 30 的批次。因此每个序列的形状都是 (s_i, 30, 5)，其中 s_i 对于每个 P 序列 (s_i = len(P_i)//30) 都是不同的。我将所有序列附加到形状为 (N, 30, 5) 的训练数据中，其中 N = s_1 + s_2 + ... + s_p.

型号：

# design network
model = Sequential()
model.add(LSTM(32, batch_input_shape=(1, train_X[0].shape[1], train_X[0].shape[2]), stateful=True, return_sequences=True))
model.add(LSTM(16, return_sequences=False))
model.add(Dense(1, activation="linear"))
model.compile(loss='mse', optimizer=Adam(lr=0.0005), metrics=['mse'])

model.summary()看起来像

_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
lstm_1 (LSTM)                (1, 30, 32)               4864      
_________________________________________________________________
lstm_2 (LSTM)                (1, 16)                   3136      
_________________________________________________________________
dense_1 (Dense)              (1, 1)                    17        
=================================================================

训练循环：

for epoch in range(epochs):
    mean_tr_acc = []
    mean_tr_loss = []
        
    for seq in range(train_X.shape[0]): #24
            
        # train on whole sequence batch by batch
        for batch in range(train_X[seq].shape[0]): #68
            b_loss, b_acc = model.train_on_batch(np.expand_dims(train_X[seq][batch], axis=0), train_Y[seq][batch][-1])    
                
            mean_tr_acc.append(b_acc)
            mean_tr_loss.append(b_loss)
                
        #reset lstm internal states after training of each complete sequence
        model.reset_states()

编辑：

损失图的问题是我将自定义损失中的值相除，使它们太小了。如果我去掉除法并以对数方式绘制损失图，它看起来没问题。

新问题：

训练完成后，我将尝试进行预测。我向我的模型展示了一个新过程的 30 个时间样本；因此输入形状与训练期间的 batch_input_shape 相同，即 (1, 30, 5)。我对同一序列的不同批次得到的预测都是相同的。

我几乎可以肯定我在训练过程中做错了什么。如果有人可以帮助我，将不胜感激。谢谢。

编辑 2：

因此，只有经过超过 20 个 epoch 的训练，模型才能预测出完全相同的结果。否则，预测值非常接近，但仍有点不同。我猜这是由于某种过度拟合。求助！！！

25 个时期的损失如下所示：

Answer 1

通常，如果结果相同，那是因为您的数据未标准化。我建议您通过简单的正态变换（即 (data - mean)/std ）将 mean=0 和 std=1 的数据居中。在训练和测试之前尝试像这样转换它。训练集和测试集之间数据标准化方式的差异也会导致问题，这可能是导致训练损失与测试损失存在差异的原因。始终对所有数据使用相同的规范化技术。

在 Keras 中使用有状态 LSTM 训练多变量多序列回归问题

Training a multi-variate multi-series regression problem with stateful LSTMs in Keras

python

machine-learning

lstm

keras

recurrent-neural-network

型号：

训练循环：

编辑：

新问题：

编辑 2：