在八度音程中实现整流线性单元

Question

function g = relu(z)

a=z>0;
g=z.*a;

end

z 可以是标量、矩阵或向量。那么上面的实现是正确的还是有更好的方法来实现 [Rectified linear unit) ReLU in octave.

也请说导数是否合适

function g = relugradient(z)

g= (z>=0);

end

Answer 1

我会用

function r = relu (z)
  r = max (0, z);
endfunction

但是你的版本应该return一样。尝试同时使用大向量和矩阵进行基准测试...

导数很好（g = z > 0;就足够了）

implement Rectified Linear unit in octave