TensorFlow 中的二进制分类，损失和准确性的意外大值

Question

我正在尝试使用深度神经网络架构根据二进制标签值 - -1 和 +1 进行分类。这是我在 tensorflow.

中执行此操作的代码

import tensorflow as tf
import numpy as np
from preprocess import create_feature_sets_and_labels

train_x,train_y,test_x,test_y = create_feature_sets_and_labels()

x = tf.placeholder('float', [None, 5])
y = tf.placeholder('float')

n_nodes_hl1 = 500
n_nodes_hl2 = 500
n_nodes_hl3 = 500

n_classes = 1
batch_size = 100

def neural_network_model(data):

    hidden_1_layer = {'weights':tf.Variable(tf.random_normal([5, n_nodes_hl1])),
                      'biases':tf.Variable(tf.random_normal([n_nodes_hl1]))}

    hidden_2_layer = {'weights':tf.Variable(tf.random_normal([n_nodes_hl1, n_nodes_hl2])),
                      'biases':tf.Variable(tf.random_normal([n_nodes_hl2]))}

    hidden_3_layer = {'weights':tf.Variable(tf.random_normal([n_nodes_hl2, n_nodes_hl3])),
                      'biases':tf.Variable(tf.random_normal([n_nodes_hl3]))}

    output_layer = {'weights':tf.Variable(tf.random_normal([n_nodes_hl3, n_classes])),
                      'biases':tf.Variable(tf.random_normal([n_classes]))}


    l1 = tf.add(tf.matmul(data, hidden_1_layer['weights']), hidden_1_layer['biases'])
    l1 = tf.nn.relu(l1)

    l2 = tf.add(tf.matmul(l1, hidden_2_layer['weights']), hidden_2_layer['biases'])
    l2 = tf.nn.relu(l2)

    l3 = tf.add(tf.matmul(l2, hidden_3_layer['weights']), hidden_3_layer['biases'])
    l3 = tf.nn.relu(l3)

    output = tf.transpose(tf.add(tf.matmul(l3, output_layer['weights']), output_layer['biases']))
    return output



def train_neural_network(x):
    prediction = neural_network_model(x)
    cost = tf.reduce_mean(tf.nn.sigmoid_cross_entropy_with_logits(prediction, y))
    optimizer = tf.train.AdamOptimizer().minimize(cost)

    hm_epochs = 10

    with tf.Session() as sess:
        sess.run(tf.initialize_all_variables())

        for epoch in range(hm_epochs):
            epoch_loss = 0
            i = 0
            while i < len(train_x):
                start = i
                end = i + batch_size
                batch_x = np.array(train_x[start:end])
                batch_y = np.array(train_y[start:end])

                _, c = sess.run([optimizer, cost], feed_dict={x: batch_x,
                                              y: batch_y})
                epoch_loss += c
                i+=batch_size

            print('Epoch', epoch, 'completed out of', hm_epochs, 'loss:', epoch_loss)

        # correct = tf.equal(tf.argmax(prediction, 1), tf.argmax(y, 1))
        # accuracy = tf.reduce_mean(tf.cast(correct, 'float'))

        print (test_x.shape)
        accuracy = tf.nn.l2_loss(prediction-y,name="squared_error_test_cost")/test_x.shape[0]
        print('Accuracy:', accuracy.eval({x: test_x, y: test_y}))

train_neural_network(x)

这是我在运行时得到的输出：

('Epoch', 0, 'completed out of', 10, 'loss:', -8400.2424869537354)
('Epoch', 1, 'completed out of', 10, 'loss:', -78980.956665039062)
('Epoch', 2, 'completed out of', 10, 'loss:', -152401.86713409424)
('Epoch', 3, 'completed out of', 10, 'loss:', -184913.46441650391)
('Epoch', 4, 'completed out of', 10, 'loss:', -165563.44775390625)
('Epoch', 5, 'completed out of', 10, 'loss:', -360394.44857788086)
('Epoch', 6, 'completed out of', 10, 'loss:', -475697.51550292969)
('Epoch', 7, 'completed out of', 10, 'loss:', -588638.92993164062)
('Epoch', 8, 'completed out of', 10, 'loss:', -745006.15966796875)
('Epoch', 9, 'completed out of', 10, 'loss:', -900172.41955566406)
(805, 5)
('Accuracy:', 5.8077128e+09)

我不明白我得到的值是否正确，因为确实缺乏非 MNIST 二进制分类示例。准确性与我的预期完全不同。我期待的是一个百分比而不是那么大的值。

我也不太确定机器学习背后的理论，这就是为什么我无法判断我使用 tensorflow 的方法是否正确的原因。

谁能告诉我我的二元分类方法是否正确？我的代码的准确性部分是否正确？

Answer 1

来自：

a binary label value - -1 and +1

。 . .我假设您在 train_y 和 test_y 中的值实际上是 -1.0 和 +1.0

这不会很好地与您选择的损失函数一起工作 sigmoid_cross_entropy_with_logits - 它假设为 0.0 和 +1.0。负 y 值正在造成混乱！然而，损失函数的选择对二进制 classification 是有利的。我建议将您的 y 值更改为 0 和 1。

此外，从技术上讲，您网络的输出并不是最终预测。损失函数 sigmoid_cross_entropy_with_logits 旨在与输出层中具有 sigmoid 传输函数的网络一起工作，尽管您已经正确地应用了损失函数 before 这是完成的.所以你的训练代码看起来是正确的

虽然我不是 100% 确定 tf.transpose - 我个人会看看如果你删除它会发生什么，即

output = tf.add(tf.matmul(l3, output_layer['weights']), output_layer['biases'])

无论如何，这是 "logit" 输出，而不是您的预测。对于非常有信心的预测，output 的值可能会变高，这可能解释了您稍后由于缺少 sigmoid 函数而获得非常高的值。所以添加一个预测张量（这代表probability/confidence即样本在正class）：

prediction = tf.sigmoid(output)

您可以使用它来计算准确度。您的准确性计算不应基于 L2 错误，而是正确值的总和 - 更接近您注释掉的代码（这似乎来自 multiclass classification）。对于二进制 classification 与 true/false 的比较，您需要对预测设置阈值，并与真实标签进行比较。像这样：

 predicted_class = tf.greater(prediction,0.5)
 correct = tf.equal(predicted_class, tf.equal(y,1.0))
 accuracy = tf.reduce_mean( tf.cast(correct, 'float') )

精度值应介于 0.0 和 1.0 之间。如果您想要百分比，当然只需乘以 100。

TensorFlow 中的二进制分类，损失和准确性的意外大值

Binary classification in TensorFlow, unexpected large values for loss and accuracy

python

machine-learning

neural-network

logistic-regression

tensorflow