神经网络的逼近函数

Question

我试图使用我自己编写的神经网络来近似sine()函数.我已经在一个简单的OCR问题上测试了我的神经网络并且它有效,但我无法应用它来近似sine().我的问题是在训练期间我的误差正好收敛到50%,所以我猜它完全是随机的.

我使用一个输入神经元作为输入(0到PI),一个输出神经元用于结果.我有一个隐藏层,我可以在其中改变神经元的数量,但我目前正在尝试6-10左右.

我有一种感觉问题是因为我使用sigmoid传递函数(这是我的应用程序中的一个要求),它只输出0到1之间,而sine()的输出介于-1和1之间.试图纠正我尝试将输出乘以2然后减去1,但这并没有解决问题.我想我必须在某处做某种转换才能使这项工作成功.

有任何想法吗？

Answer 1

使用线性输出单元.

这是一个使用R的简单示例:

set.seed(1405)
x <- sort(10*runif(50))
y <- sin(x) + 0.2*rnorm(x)

library(nnet)
nn <- nnet(x, y, size=6, maxit=40, linout=TRUE)
plot(x, y)
plot(sin, 0, 10, add=TRUE)
x1 <- seq(0, 10, by=0.1)
lines(x1, predict(nn, data.frame(x=x1)), col="green")

Answer 2

训练网络时,应将目标(sin函数)标准化为范围[0,1],然后可以保持sigmoid传递函数.

sin(x) in [-1,1]  =>  0.5*(sin(x)+1) in [0,1]

Train data:
    input    target    target_normalized
    ------------------------------------
    0         0          0.5
    pi/4      0.70711    0.85355
    pi/2      1           1
    ...

请注意,我们在训练之前映射了目标.训练和模拟网络后,您可以映射网络的输出.

以下是一个MATLAB代码来说明:

%% input and target
input = linspace(0,4*pi,200);
target = sin(input) + 0.2*randn(size(input));

% mapping
[targetMinMax,mapping] = mapminmax(target,0,1);

%% create network (one hidden layer with 6 nodes)
net = newfit(input, targetMinMax, [6], {'tansig' 'tansig'});
net.trainParam.epochs = 50;
view(net)

%% training
net = init(net);                            % init
[net,tr] = train(net, input, targetMinMax); % train
output = sim(net, input);                   % predict

%% view prediction
plot(input, mapminmax('reverse', output, mapping), 'r', 'linewidth',2), hold on
plot(input, target, 'o')
plot(input, sin(input), 'g')
hold off
legend({'predicted' 'target' 'sin()'})