与 R 中的跨度相关的 LOESS 警告/错误

Question

我正在 R 中运行 LOESS 回归，并且在我的一些较小的数据集上遇到了警告。

警告信息：

1：在 simpleLoess(y, x, w, span, degree = degree, parametric = parametric,? : ? 伪逆中使用 -2703.9

2: 在 simpleLoess(y, x, w, span, degree = degree, parametric = parametric,? : ? 邻域半径 796.09

3: 在 simpleLoess(y, x, w, span, degree = degree, parametric = parametric,? : ? 倒数条件数？0

4：在 simpleLoess(y, x, w, span, degree = degree, parametric = parametric,? : ? 还有其他近奇点。6.1623e+005

这些错误在另一篇文章中讨论： 了解 R 中的黄土错误。

这些警告似乎与为 LOESS 回归设置的跨度有关。我正在尝试应用一种类似的方法，该方法是在其他数据集上完成的，其中可接受的平滑跨度的参数介于 0.3 和 0.6 之间。在某些情况下，我能够调整跨度以避免这些问题，但在其他数据集中，跨度必须增加到超出可接受的水平以避免错误/警告。

我很好奇这些警告的具体含义，以及这是否是回归可用的情况，但应该注意的是，这些警告发生了，或者回归是否完全无效。

以下是存在问题的数据集示例：

Period  Value   Total1  Total2
-2950   0.104938272 32.4    3.4  
-2715   0.054347826 46  2.5  
-2715   0.128378378 37  4.75  
-2715   0.188679245 39.75   7.5  
-3500   0.245014245 39  9.555555556  
-3500   0.163120567 105.75  17.25  
-3500   0.086956522 28.75   2.5  
-4350   0.171038825 31.76666667 5.433333333  
-3650   0.143798024 30.36666667 4.366666667  
-4350   0.235588972 26.6    6.266666667  
-3500   0.228840125 79.75   18.25  
-4933   0.154931973 70  10.8452381  
-4350   0.021428571 35  0.75  
-3500   0.0625  28  1.75  
-2715   0.160714286 28  4.5  
-2715   0.110047847 52.25   5.75  
-3500   0.176923077 32.5    5.75  
-3500   0.226277372 34.25   7.75  
-2715   0.132625995 188.5   25

这是没有换行符的数据

Period  Value   Total1  Total2
-2950   0.104938272 32.4    3.4
-2715   0.054347826 46  2.5
-2715   0.128378378 37  4.75
-2715   0.188679245 39.75   7.5
-3500   0.245014245 39  9.555555556
-3500   0.163120567 105.75  17.25
-3500   0.086956522 28.75   2.5
-4350   0.171038825 31.76666667 5.433333333
-3650   0.143798024 30.36666667 4.366666667
-4350   0.235588972 26.6    6.266666667
-3500   0.228840125 79.75   18.25
-4933   0.154931973 70  10.8452381
-4350   0.021428571 35  0.75
-3500   0.0625  28  1.75
-2715   0.160714286 28  4.5
-2715   0.110047847 52.25   5.75
-3500   0.176923077 32.5    5.75
-3500   0.226277372 34.25   7.75
-2715   0.132625995 188.5   25

这是我正在使用的代码：

Analysis <- read.csv(file.choose(), header = T)
plot(Value ~ Period, Analysis)
a <- order(Analysis$Period)
Analysis.lo <- loess(Value ~ Period, Analysis, weights = Total1)
pred <- predict(Analysis.lo, se = TRUE)
lines(Analysis$Period[a], pred$fit[a], col="red", lwd=3)
lines(Analysis$Period[a], pred$fit[a] - qt(0.975, pred$df)*pred$se[a],lty=2)
lines(Analysis$Period[a], pred$fit[a] + qt(0.975,pred$df)*pred$se[a],lty=2)

感谢您的帮助，如果需要任何其他信息，请告诉我。

Answer 1

发出警告是因为算法loess发现数值困难，因为Period有几个值重复了相对大量的次数，正如您从图中看到的，还有：

table(Analysis$Period)

在这方面，Period实际上表现得像一个离散变量（一个因子），而不是一个连续变量，因为它是适当平滑所必需的。添加一些抖动会删除警告：

Analysis <- read.table(header = T,text="Period  Value   Total1  Total2
-2950   0.104938272 32.4    3.4
-2715   0.054347826 46  2.5
-2715   0.128378378 37  4.75
-2715   0.188679245 39.75   7.5
-3500   0.245014245 39  9.555555556
-3500   0.163120567 105.75  17.25
-3500   0.086956522 28.75   2.5
-4350   0.171038825 31.76666667 5.433333333
-3650   0.143798024 30.36666667 4.366666667
-4350   0.235588972 26.6    6.266666667
-3500   0.228840125 79.75   18.25
-4933   0.154931973 70  10.8452381
-4350   0.021428571 35  0.75
-3500   0.0625  28  1.75
-2715   0.160714286 28  4.5
-2715   0.110047847 52.25   5.75
-3500   0.176923077 32.5    5.75
-3500   0.226277372 34.25   7.75
-2715   0.132625995 188.5   25")

table(Analysis$Period)    
Analysis$Period <- jitter(Analysis$Period, factor=0.2)

plot(Value ~ Period, Analysis)
a <- order(Analysis$Period)
Analysis.lo <- loess(Value ~ Period, Analysis, weights = Total1)
pred <- predict(Analysis.lo, se = TRUE)
lines(Analysis$Period[a], pred$fit[a], col="red", lwd=3)
lines(Analysis$Period[a], pred$fit[a] - qt(0.975, pred$df)*pred$se[a],lty=2)
lines(Analysis$Period[a], pred$fit[a] + qt(0.975,pred$df)*pred$se[a],lty=2)

增加span参数具有“挤压”的效果，沿着Period轴，出现重复值的堆；对于小数据集，您需要大量压缩以补偿重复Periods的堆积。

从实际的角度来看，我通常仍然相信回归，可能是在检查了图形输出之后。但我绝对不会span为了压扁而增加：jitter为此目的使用少量会好得多；span应该由其他考虑因素决定，例如您的Period数据的整体传播等。