提取 3 个嵌入层的 Keras 连接层，但它是一个空列表

Question

我正在构建一个具有多个输入（实际上是 3 个）的 Keras 分类模型来预测一个输出。具体来说，我的 3 输入是：

演员
剧情概要
相关电影特写

输出：

流派标签

Python代码（创建多输入keras）

def kera_multy_classification_model():

    sentenceLength_actors = 15
    vocab_size_frequent_words_actors = 20001

    sentenceLength_plot = 23
    vocab_size_frequent_words_plot = 17501

    sentenceLength_features = 69
    vocab_size_frequent_words_features = 20001

    model = keras.Sequential(name='Multy-Input Keras Classification model')

    actors = keras.Input(shape=(sentenceLength_actors,), name='actors_input')
    plot = keras.Input(shape=(sentenceLength_plot,), name='plot_input')
    features = keras.Input(shape=(sentenceLength_features,), name='features_input')

    emb1 = layers.Embedding(input_dim = vocab_size_frequent_words_actors + 1,
                            # based on keras documentation input_dim: int > 0. Size of the vocabulary, i.e. maximum integer index + 1.
                            output_dim = Keras_Configurations_model1.EMB_DIMENSIONS,
                            # int >= 0. Dimension of the dense embedding
                            embeddings_initializer = 'uniform', 
                            # Initializer for the embeddings matrix.
                            mask_zero = False,
                            input_length = sentenceLength_actors,
                            name="actors_embedding_layer")(actors)
    encoded_layer1 = layers.LSTM(100)(emb1)

    emb2 = layers.Embedding(input_dim = vocab_size_frequent_words_plot + 1,
                            output_dim = Keras_Configurations_model2.EMB_DIMENSIONS,
                            embeddings_initializer = 'uniform',
                            mask_zero = False,
                            input_length = sentenceLength_plot,
                            name="plot_embedding_layer")(plot)
    encoded_layer2 = layers.LSTM(100)(emb2)

    emb3 = layers.Embedding(input_dim = vocab_size_frequent_words_features + 1,
                            output_dim = Keras_Configurations_model3.EMB_DIMENSIONS,
                            embeddings_initializer = 'uniform',
                            mask_zero = False,
                            input_length = sentenceLength_features,
                            name="features_embedding_layer")(features)
    encoded_layer3 = layers.LSTM(100)(emb3)

    merged = layers.concatenate([encoded_layer1, encoded_layer2, encoded_layer3])

    layer_1 = layers.Dense(Keras_Configurations_model1.BATCH_SIZE, activation='relu')(merged)

    output_layer = layers.Dense(Keras_Configurations_model1.TARGET_LABELS, activation='softmax')(layer_1)

    model = keras.Model(inputs=[actors, plot, features], outputs=output_layer)

    print(model.output_shape)

    print(model.summary())

    model.compile(optimizer='adam',
                  loss='sparse_categorical_crossentropy',
                  metrics=['sparse_categorical_accuracy'])

模型的结构

我的问题：

在一些训练数据上成功拟合和训练模型后，我想提取该模型的嵌入以备后用。在使用多输入 keras 模型之前，我的主要方法是训练 3 个不同的 keras 模型并提取 3 个形状为 100 的不同嵌入层。现在我有了多输入 keras 模型，我想提取连接的嵌入层 输出形状 (None, 300).

虽然，当我尝试使用此 python 命令时：

embeddings = model_4.layers[9].get_weights()
print(embeddings)

或

embeddings = model_4.layers[9].get_weights()[0]
print(embeddings)

我得到一个空列表（第一个代码示例）或者一个 IndenError：列表索引超出范围（第二个代码示例）。

提前感谢您对此事的任何建议或帮助。请随时在评论中询问我可能遗漏的任何其他信息，以使这个问题更加完整。

注意：Python 代码和模型的结构也已经提交给这个先前的回答

Answer 1

连接层没有任何权重（它没有可训练的参数，正如您从模型摘要中看到的那样）因此您的 get_weights() 输出为空。连接是一种操作。
对于您的情况，您可以在训练后获得各个嵌入层的权重。

model.layers[3].get_weights() # similarly for layer 4 and 5

或者，如果您想将嵌入存储在 (None, 300) 中，您可以使用 numpy 连接权重。

out_concat = np.concatenate([mdoel.layers[3].get_weights()[0], mdoel.layers[4].get_weights()[0], mdoel.layers[5].get_weights()[0]], axis=-1)

虽然可以得到concatenate层的输出张量：

out_tensor = model.layers[9].output
# <tf.Tensor 'concatenate_3_1/concat:0' shape=(?, 300) dtype=float32>

提取 3 个嵌入层的 Keras 连接层，但它是一个空列表

Extract Keras concatenated layer of 3 embedding layers, but it's an empty list

python

nlp

keras

tensorflow

word-embedding