使用神经网络进行连续回归的梯度

Question

我正在尝试实现具有3层(1个输入,1个隐藏和1个输出层以及连续结果)的回归NN.作为基础,我从coursera.org类中获取了分类NN ,但更改了成本函数和梯度计算以适应回归问题(而不是分类问题):

我的nnCostFunction现在是:

function [J grad] = nnCostFunctionLinear(nn_params, ...
                                   input_layer_size, ...
                                   hidden_layer_size, ...
                                   num_labels, ...
                                   X, y, lambda)

Theta1 = reshape(nn_params(1:hidden_layer_size * (input_layer_size + 1)), ...
                 hidden_layer_size, (input_layer_size + 1));

Theta2 = reshape(nn_params((1 + (hidden_layer_size * (input_layer_size + 1))):end), ...
                 num_labels, (hidden_layer_size + 1));

m = size(X, 1);

a1 = X;
a1 = [ones(m, 1) a1];
a2 = a1 * Theta1';
a2 = [ones(m, 1) a2];
a3 = a2 * Theta2';
Y = y;

J = 1/(2*m)*sum(sum((a3 - Y).^2))

th1 = Theta1;
th1(:,1) = 0; %set bias = 0 in reg. formula
th2 = Theta2;
th2(:,1) = 0;

t1 = th1.^2;
t2 = th2.^2;
th = sum(sum(t1)) + sum(sum(t2));
th = lambda * th / (2*m);
J = J + th; %regularization


del_3 = a3 - Y;
t1 = del_3'*a2;
Theta2_grad = 2*(t1)/m + lambda*th2/m;

t1 = del_3 * Theta2;
del_2 = t1 .*  a2;
del_2 = del_2(:,2:end);
t1 = del_2'*a1;
Theta1_grad = 2*(t1)/m + lambda*th1/m;

grad = [Theta1_grad(:) ; Theta2_grad(:)];
end

然后我在fmincg算法中使用这个func ,但是在第一次迭代中,fmincg结束了它的工作.我认为我的渐变是错误的,但我找不到错误.

有人可以帮忙吗？

Answer 1

如果我理解正确的话，你的第一个代码块（如下所示）-

m = size(X, 1);

a1 = X;
a1 = [ones(m, 1) a1];
a2 = a1 * Theta1';
a2 = [ones(m, 1) a2];
a3 = a2 * Theta2';
Y = y;

就是在输出层得到输出a ^{(3) 。}

Ng 关于 NN 的幻灯片具有以下配置来计算 a ⁽³⁾。它与您的代码所呈现的不同。

• 在中间/输出层，您没有执行激活函数g，例如sigmoid函数。

对于J没有正则化项的成本函数，Ng 的幻灯片有以下公式：

我不明白为什么你可以使用以下方法计算它：

J = 1/(2*m)*sum(sum((a3 - Y).^2))

log因为你根本没有包含该功能。