预测的准确性测试

Question

我找到了一个网站,它准确地解释了我需要为我的数据做些什么,但它不在R中.任何人都可以建议我如何在R中创建它？

http://people.duke.edu/~rnau/three.htm

我需要找到MSE,MAE,MAPE,ME,MPE,SSE来测试预测的准确性,这个页面是我发现的最接近解释如何做的.

data<-c(79160.56266,91759.73029,91186.47551,106353.8192,70346.46525,80279.15139,82611.60076,131392.7209,93798.99391,105944.7752,103913.1296,154530.6937,110157.4025,117416.0942,127423.4206,156751.9979,120097.8068,121307.7534,115021.1187,150657.8258,113711.5282,115353.1395,112701.9846,154319.1785,116803.545,118352.535)
forecasts<-c(118082.3,157303.8,117938.7,122329.8) # found using arima

(如果你把这个问题标记下来,你可以解释为什么请)

Answer 1

以下是一些使用UKNonDurables包中的数据集开始的示例AER.这个软件包伴随着应用计量经济学与R的书,这是一本非常好的入门应用计量经济学书籍,特别适用于没有扎实编程背景的人.

library(forecast)
library(AER) 
##
data("UKNonDurables")
## alias for convenience
Data <- UKNonDurables
## split data into testing and training
train <- window(
  Data,
  end=c(1975,4))
test <- window(
  Data,
  start=c(1976,1))
## fit a model on training data
aaFit <- auto.arima(
  train)
## forcast training model over
## the testing period
aaPred <- forecast(
  aaFit,
  h=length(test))
##
> plot(aaPred)

## extract point forecasts
yHat <- aaPred$mean
## a few functions:
## mean squared (prediction) error
MSE <- function(y,yhat)
{
  mean((y-yhat)**2)
}
## mean absolute (prediction) error
MAE <- function(y,yhat)
{
  mean(abs(y-yhat))
}
## mean absolute percentage (prediction) error
MAPE <- function(y,yhat,percent=TRUE)
{
  if(percent){
    100*mean(abs( (y-yhat)/y ))
  } else {
    mean(abs( (y-yhat)/y ))
  }
}
##
> MSE(test,yHat)
[1] 9646434
> MAE(test,yHat)
[1] 1948.803
> MAPE(test,yHat)
[1] 3.769978

就像我说的,上面的部分或全部函数可能存在于基础R或外部包中,但它们通常是简单的公式,实现起来很简单.尝试解决这些问题和/或调整它们以更好地满足您的需求.

编辑: 正如Hyndman先生在下面指出的那样,他的软件包forecast包括该功能accuracy,它提供了一种非常方便的方法来总结时间序列模型的GOF度量.使用上面的相同数据,您可以轻松评估forecast对象在培训和测试期间的适合度:

> round(accuracy(aaPred,Data),3)
                   ME     RMSE      MAE   MPE  MAPE  MASE  ACF1 Theil's U
Training set    2.961  372.104  277.728 0.001 0.809 0.337 0.053        NA
Test set     1761.016 3105.871 1948.803 3.312 3.770 2.364 0.849     1.004

(这里round(...,3)使用的只是为了使输出在这篇文章中很好地适应).或者,如果您只想在预测期内检查这些度量,可以调用以下内容:

> accuracy(yHat,test)
               ME     RMSE      MAE      MPE     MAPE      ACF1 Theil's U
Test set 1761.016 3105.871 1948.803 3.312358 3.769978 0.8485389  1.004442