Tensor-flow 如何在 MLP 的情况下使用填充和掩蔽层？

Question

我想用 MLP 解决回归问题。

我有可变长度的输入来解决这个问题我想使用 零填充 和 掩蔽层 。

我使用 pandas 库从 csv 文件读取输入。这是我的数据的样子。

我只知道如何使用此命令将 NaN 值填充为 0 x_train.fillna(0.0).values

喜欢第一行:

[4, 0, 0, 512, 1.0, 0.0, 1.0, 0.0, 128.0 , NaN]

填充后：

[4, 0, 0, 512, 1.0, 0.0, 1.0, 0.0, 128.0 , 0.0]

面具应该是这样的:

[1, 1, 1, 1, 1, 1, 1, 1, 1, 0]

但我不知道如何添加遮罩层并将它们输入到我的 MLP 中。

如果我有固定的输入长度。我的程序看起来像这样

...
n_input = 10 #number og inputs

train_X = pd.read_csv('x_train.csv')
train_Y = pd.read_csv('y_train.csv')


X = tf.placeholder("float", [None, n_input])
Y = tf.placeholder("float", [None, n_output])

...
y_pred = multilayer_perceptron(X)
...

with tf.Session() as sess:
    sess.run(init)

            _, c = sess.run([train, loss], feed_dict={X: train_X,
                                                      Y: train_Y})
          ...

不知道Zero padding和masking layer怎么结合？

Answer 1

您不能忽略 MLP 中的单个功能。在数学上，我们谈论的是矩阵乘法。您可以 "ignore" 的唯一维度是循环层中的时间维度，因为权重的数量不随时间维度变化，因此单个层在时间维度上可以采用不同的大小。

如果你只使用密集层，你不能跳过任何东西，因为你唯一的维度（除了批次维度）直接与权重的数量成比例。

Answer 2

谢谢@dennis-ec，你的回答非常准确。我只想添加这个：

我们可以忽略给定 feature.This 的所有时间步 Keras 支持 LSTM，但不支持密集层（我们不能忽略 MLP 中的单个特征）

我们可以使用填充（零填充或指定要使用的值，例如 -1）并查看性能。

Tensor-flow 如何在 MLP 的情况下使用填充和掩蔽层？

Tensor-flow how to use padding and masking layer in case of MLPs?

python

masking

pandas

tensorflow

zero-padding