使用 Theano 错误的简单二进制分类

Question

尝试使用 Theano 为异或案例创建简单的二进制分类时出现错误。它说尺寸不匹配，但我找不到是什么变量导致的。

奇怪的是，当我更改最后一层中的神经元数量时，我的程序可以正常工作。当我更改为在最后一层使用 2 个神经元，并将该层更改为 softmax 层，并且还使用负对数似然（多类分类样式）时，此程序运行良好。

这是我的完整代码：

import numpy as np
import theano
import theano.tensor as T 

class HiddenLayer(object):
    def __init__(self, input, nIn, nOut, is_last, W=None):
        self.input = input

        W_val = np.random.randn(nIn,nOut)*0.001
        b_val = np.zeros((nOut,))

        self.W = theano.shared(np.asarray(W_val,dtype=theano.config.floatX),
                               name='W',borrow=True)
        self.b = theano.shared(np.asarray(b_val,dtype=theano.config.floatX),
                               name='b',borrow=True)

        self.z = T.dot(input,self.W) + self.b

        if(is_last==0):            
            self.output = T.switch(self.z < 0 , 0 ,self.z)
        else:
            self.output = T.nnet.sigmoid(self.z)
            self.y_pred = self.output > 0.5

        self.params = [self.W, self.b]

    def cost_function(self,y):
        return -T.mean(y*T.log(self.output)+(1-y)*T.log(1-self.output))

    def errors(self,y):
        return T.mean(T.neq(self.y_pred,y))

alfa = 1
epoch = 1000
neu = 5        

inpx = np.array([[1,0],[1,1],[0,0],[0,1]])
inpy = np.array([1,0,0,1])

x = T.fmatrix('x')
y = T.ivector('y')

layer0 = HiddenLayer(
    input = x,
    nIn = 2,
    nOut = neu,
    is_last=0
)

layer1 = HiddenLayer(
    input = layer0.output,
    nIn = neu,
    nOut = 1,
    is_last=1
)

params = layer0.params + layer1.params
cost = layer1.cost_function(y) 
grads = T.grad(cost, params)
updates = [(param_i, param_i - alfa * grad_i) for param_i, grad_i in zip(params, grads)]
eror = layer1.errors(y)

train_model = theano.function([x,y], [eror,cost],updates=updates,allow_input_downcast=True)

test_model = theano.function([x,y],[eror,layer1.y_pred],allow_input_downcast=True)

for i in xrange(epoch):
    etr,ctr = train_model(inpx, inpy)
    if i%(epoch/10)==0:
        print etr,ctr

et,pt = test_model(inpx,inpy)
print pt

和错误：

ValueError: Input dimension mis-match. (input[0].shape[1] = 1, input[1].shape[1] = 4)
Apply node that caused the error: Elemwise{neq,no_inplace}(sigmoid.0, DimShuffle{x,0}.0)
Toposort index: 41
Inputs types: [TensorType(float32, matrix), TensorType(int32, row)]
Inputs shapes: [(4L, 1L), (1L, 4L)]
Inputs strides: [(4L, 4L), (16L, 4L)]
Inputs values: [array([[ 0.94264328],
       [ 0.99725735],
       [ 0.5       ],
       [ 0.95675617]], dtype=float32), array([[1, 0, 0, 1]])]
Outputs clients: [[Shape(Elemwise{neq,no_inplace}.0), Sum{acc_dtype=int64}(Elemwise{neq,no_inplace}.0)]]

提前感谢您的帮助。

Answer 1

你的问题出在你的 y 和 inpy 变量上：你试图做的是让 y 成为网络的预期输出。您的网络有一个包含 4 个元素的数据集，每个元素有 2 个特征，因此您的输入矩阵中有 4 行和 2 列。因此，您预计在预测输出中有 4 个元素，即 y 或 inpy 矩阵中的 4 行，但您使用的是向量，在 theano 中是行向量，因此只有一行。您需要在计算成本时转置 y 向量，或者将 y 变量定义为矩阵，从而将 inpy 作为 (4,1) 矩阵而不是 (4,) 向量（再一次，向量是theano 中的行向量）。

希望对您有所帮助，

最佳

使用 Theano 错误的简单二进制分类

Simple Binary Classification Using Theano Error

python

neural-network

theano

logistic-regression