决策边界逻辑回归不正确

Question

我知道那里有很多问题，但就是行不通。我想绘制逻辑回归模型的决策边界。但我的决策边界图与预期相去甚远。我没有绘制新数据来验证分类器，但是，我的损失看起来符合预期并且很好地收敛了。请在下面找到我的代码。

Edit1: 我现在已经尝试了几个解决方案和方法来绘制决策边界，而且看起来总是一样，所以我的参数一定有问题。有人知道它可能是什么吗？

Edit2: 出于沮丧，我随机将决策边界的参数更改为 y = (-(w[2]+w[0].item()*x)/w[1]).T，现在可以正常使用了。有人知道为什么我有两个扭来扭去吗？

这就是我会得到的。我做错了什么？

import numpy as np
import matplotlib.pyplot as plt

def sig(x):
    return 1/(1+np.exp(-x))

def N(mean, cov, n):
    return np.matrix(np.random.multivariate_normal(mean, cov, n))

# Data
n = 100
mean_1, cov_1 = [3,3], [[0.7,-0.3],[0.3,0.5]]
mean_2, cov_2 = [1,2], [[0.5,0.3],[0.3,0.5]]
X_1, X_2 = N(mean_1, cov_1, n), N(mean_2, cov_2, n) # (100, 2)
X = np.vstack((X_1, X_2)) # (200, 2)
Ts = np.vstack((np.zeros((n, 1)), np.ones((n, 1)))) # (200, 1)
Xs = np.hstack((X, np.ones((n*2,1)))) # (200, 3)

# Parameters
w = np.matrix(np.random.rand(np.size(Xs,1))).T # (3, 1)
alpha = 1e-2

# Train
loss = []
epochs = 10000
for i in range(epochs):
    Ys = sig(Xs@w)
    loss += [1/(n*2) * (-Ts.T@np.log(Ys) -(1-Ts.T)@np.log(1-Ys)).item()]
    grad = Xs.T@(Ys-Ts)
    w -= alpha/(n*2) * grad

# plot loss
plot_loss = False
if plot_loss:
    plt.plot(range(len(loss)), loss)
    plt.title("Convergence of loss")
    plt.xlabel('Epochs')
    plt.ylabel('Loss')

# plot data
plot_data = True
if plot_data:
    plt.scatter([X_1[:,0]],[X_1[:,1]], color="b")
    plt.scatter([X_2[:,0]],[X_2[:,1]], color="r")
    plt.title("Data")
    plt.xlabel('Feature 1')
    plt.ylabel('Feature 2')

# plot decision boundary
plot_db = True
if plot_db:
    x = np.linspace(-1, 6, 1000)
    y = (-(w[0]+w[1].item()*x)/w[2]).T
    plt.plot(x,y,"r")

plt.show()

Answer 1

问题是 ones 向量与特征向量连接。将其与特征向量切换并按照上面的代码绘制边界会产生正确的边界。

决策边界逻辑回归不正确

Decision boundary logistic regression not correct

python

numpy

machine-learning

logistic-regression