具有一个热文本嵌入的 Keras LSTM 输入维度

Question

我使用 Keras 'one hot' 预处理嵌入了 70k 个文本样本。这给了我一个 [40, 20, 142...] 的数组，然后我填充长度为 28（最长的样本长度）。我想要做的就是将这些值预测为某个分类标签（可以说是 0 到 5）。当我训练模型时，我无法获得超过 -.13% 的准确度（目前我的错误是 this 我已经尝试了很多方法来传递输入）。

This is my data 目前，我只是想创建一个简单的 LSTM。同样，我的数据是 X -> [28 个整数值的长度，嵌入] 和 Y -> [1 个长度为 3 的整数，（100、143 等）]。知道我做错了什么吗？我问过很多人，没有人能提供帮助。这是我的模型的代码......有什么想法吗？ :(

optimizer = RMSprop(lr=0.01) #saw this online, no idea
model = Sequential()
model.add(Embedding(input_dim=28,output_dim=1,init='uniform')) #28 features, 1 dim output?
model.add(LSTM(150)) #just adding my LSTM nodes
model.add(Dense(1)) #since I want my output to be 1 integer value

model.compile(loss='sparse_categorical_crossentropy', optimizer=optimizer, metrics=['accuracy'])
print(model.summary())

编辑：

使用 model.add(Embedding(input_dim=900,output_dim=8,init='uniform')) 似乎有效，但准确度仍未提高，我不知所措。

Answer 1

我有两个建议。

也对目标变量 (y) 使用一种热表示。如果你给 Y 作为整数，它将成为一个回归问题。只有给一个one hot encoding，就变成分类问题了。
当你有大量文本时，尝试 word2vec 嵌入，而不是一个热嵌入。


optimizer = RMSprop(lr=0.01) 
embedding_vecor_length = 32
max_review_length = 28
nb_classes= 8
model = Sequential()
model.add(Embedding(input_dim=900, output_dim=embedding_vecor_length,
                    input_length=max_review_length)) 

model.add(LSTM(150))

#output_dim is a categorical variable with 8 classes
model.add(Dense(output_dim=nb_classes, activation='softmax'))

model.compile(loss='categorical_crossentropy', optimizer=optimizer, metrics=['accuracy'])
print(model.summary())

model.fit(X_train, y_train, nb_epoch=3, batch_size=64)

# Final evaluation of the model
scores = model.evaluate(X_test, y_test, verbose=0)
print("Accuracy: %.2f%%" % (scores[1]*100))

具有一个热文本嵌入的 Keras LSTM 输入维度

Keras LSTM input dimensions with one hot text embedding

python

machine-learning

neural-network

deep-learning

keras