RNN 的输出

Output for an RNN

我正在参加由多伦多大学的 Geoffrey Hinton 主持的 Coursera 课程机器学习神经网络,第 7 周有一个测验问题,我的答案不同从右边开始。

问题是这样的:

一个问题是,如果 Whh 权重为负并且逻辑 h 单元给出的值介于 0 和 1 之间,我应该如何获得介于 0 和 1 之间的概率。鉴于上述情况,他们的线性组合总是负的。

第二个问题是我们是否还必须使用反向传播才能获得正确答案?

我开始解决这个问题的方法如下:

h0 = 1/( 1 + exp(- (Whh * hbias + Wxh*x0)) )

h1 = 1/( 1 + exp(- (Whh * h0 + Wxh*x1)))

y1 = Why * h1

我的哪些假设不正确?

此致, 克里斯蒂安

试试这个。

h0 = sigmoid(x0*Wxh + hbias)
h1 = sigmoid(x1*Wxh + Whh*h0 + hbias)
y1 = h1*Why