进行 Multi-class classification 时 Keras 出错

Question

我正尝试在 Keras 中进行多class class化。我正在使用 crowdflower dataset。下面是我的代码：

import pandas as pd

from keras.preprocessing.text import Tokenizer
from keras.preprocessing.sequence import pad_sequences
import numpy as np
from sklearn.preprocessing import LabelEncoder

from keras.models import Sequential
from keras.layers import Embedding, Flatten, Dense
from sklearn.preprocessing import LabelEncoder



df=pd.read_csv('text_emotion.csv')

df.drop(['tweet_id','author'],axis=1,inplace=True)


df=df[~df['sentiment'].isin(['empty','enthusiasm','boredom','anger'])]


df = df.sample(frac=1).reset_index(drop=True)

labels = []
texts = []


for i,row in df.iterrows():
    texts.append(row['content'])
    labels.append(row['sentiment'])

tokenizer = Tokenizer()
tokenizer.fit_on_texts(texts)


sequences = tokenizer.texts_to_sequences(texts)

word_index = tokenizer.word_index


print('Found %s unique tokens.' % len(word_index))

data = pad_sequences(sequences)


encoder = LabelEncoder()
encoder.fit(labels)
encoded_Y = encoder.transform(labels)


labels = np.asarray(encoded_Y)


print('Shape of data tensor:', data.shape)
print('Shape of label tensor:', labels.shape)

indices = np.arange(data.shape[0])
np.random.shuffle(indices)
data = data[indices]
labels = labels[indices]
print labels.shape


model = Sequential()



model.add(Embedding(40000, 8,input_length=37))

model.add(Flatten())




model.add(Dense(100,activation='relu'))
model.add(Dense(50, activation='relu'))
model.add(Dense(9, activation='softmax'))

model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])


model.fit(data,labels, validation_split=0.2, epochs=150, batch_size=100)

我收到这个错误：

ValueError: Error when checking target: expected dense_3 to have shape (9,) but got array with shape (1,)

有人能指出我逻辑上的错误吗？我知道我的问题有点类似于 Exception: Error when checking model target: expected dense_3 to have shape (None, 1000) but got array with shape (32, 2)

但是我还没有找到这个错误。

Answer 1

您在该代码中犯了多个错误，我会提出一些改进建议以使代码更好：

去掉：for i,row in df.iterrows():可以直接使用
```
labels = df['sentiment']
texts = df['content']
```
使用tokenizer = Tokenizer(5000)设置最大字数时，这是词汇量。
填充时data = pad_sequences(sequences, maxlen=37)提供最大长度。
不要仅将输出转换为值数组 labels = np.asarray(encoded_Y)，这不是回归。您必须对其进行一次热编码：
```
from keras.utils import np_utils
labels = np_utils.to_categorical(encoded_Y)
```
提供嵌入层时model.add(Embedding(40000, 8,input_length=37))你的词汇量是40K，嵌入维度是8。没有多大意义，因为你提供的数据集有接近40K的唯一单词.不能全部给予适当的嵌入。 model.add(Embedding(5000, 30, input_length=37)) 更改为更合理的数字词汇大小。注意：如果您想使用 40000，请将 Tokenizer(5000) 更新为相同的数字。
使用 embedding_dim = 8、vocab_size=40000 等变量。无论值是多少。
而不是 model.add(Dense(9, activation='softmax')) 作为最后一层使用它，保持代码干净。
```
model.add(Dense(labels.shape[1], activation='softmax'))
```

最终工作代码附在此处Link

进行 Multi-class classification 时 Keras 出错

Error in Keras while doing Multi-class classification

python

keras

multiclass-classification