如何在训练后获得单个测试实例的嵌入表示

Question

我的RNN第一层是嵌入层如下

visible = Input(shape=(250,)) 
embed=Embedding(vocab_size,50)(visible)     
x2=keras.layers.GRU(224, return_sequences=False)(embed)
predictions=Dense(1, activation='sigmoid')(x2)

我训练这个网络并预测一些输出。

现在在训练之后，我在我的测试数据上测试它，这非常简单。

我想知道我的测试数据的确切嵌入，或者为了实现，在模型训练后我的任何测试序列的嵌入。我想使用那些嵌入到其他应用程序中的东西。有什么方法可以在训练后为我的测试序列数据提取那些嵌入吗？

尝试：假设我的模型是m，我得到的嵌入权重如下。

embeddings = m.layers[1].get_weights()

我还有一个反向字典reverse_char_map如下

{1: 'c',
 2: 'C',
 3: '(',
 4: ')',
 5: 'O',
 6: '=',
 7: '1',
 8: '2',
 9: 'N',
 10: '3',
 11: 'n',
 12: '[',
 13: ']',
 14: 'S',
 15: '4',
 16: '-',
 17: 'l',
 18: '+',
 19: 'H',
 20: '5',
 21: 'F',
 22: '.',
 23: '#',
 24: 's',
 25: 'o',
 26: '6',
 27: 'P',
 28: 'B',
 29: 'r',
 30: 'a',
 31: '7',
 32: 'e',
 33: 'I',
 34: 'i',
 35: '8',
 36: 'u',
 37: 'K',
 38: '9',
 39: 'R',
 40: '%',
 41: '0',
 42: 'Z',
 43: 'h',
 44: 'L',
 45: 'A',
 46: 't',
 47: 'd',
 48: 'G',
 49: 'M',
 50: 'g',
 51: 'U',
 52: 'b',
 53: 'T',
 54: 'W',
 55: 'p',
 56: 'V'}

我不知道如何将 embeddings 与 reverse_char_map 一起使用以获得测试输入序列之一的嵌入。

Answer 1

你可以给上面的层命名，像这样：

visible = Input(shape=(250,), name='visible') 
embed=Embedding(vocab_size,50,name='embed')(visible)     
x2=keras.layers.GRU(224, return_sequences=False, name='x2')(embed)
predictions=Dense(1, activation='sigmoid', name='final')(x2)

然后，由这些层组成的模型（我们称它为m1），可以用来初始化一个新的模型，你可以在其中引用这些层，像这样：

def evaluation_model(training_model):
    visible = training_model.get_layer('visible')
    embed = training_model.get_layer('embed')
    output = embed(visible)
    m = Model(inputs=[visible], outputs=[output]
    m.compile(..)
    return m

em = evaluation_model(m1)

或者，您可以简单地弹出初始模型的最后几层，或者让它输出嵌入但没有任何损失。

如何在训练后获得单个测试实例的嵌入表示

How to obtain embedded representation of single test instance after training

nlp

machine-learning

word2vec

keras

tensorflow