删除相关矩阵中的NA

Question

我正在为4000变量的数据帧做一个相关矩阵,我想删除显示> 0.5相关的变量,所以我使用{caret}包中的这个命令.

removeme <- findCorrelation(corrMatrix, cutoff = 0.5, verbose = FALSE)

Error in if (mean(x[i, -i]) > mean(x[-j, j])) { : 
missing value where TRUE/FALSE needed

我的数据变化很大,我在这里和那里得到NA值.首先,我在这个命令的帮助页面上找不到可以处理NA值的东西,所以我决定自己删除NA值.

一些变量在数据中一直显示NA值,有些变量显示很少的NA值.我试图删除导致任何NA值的变量,以便我能够使用上述命令.这是我的数据的最小例子

dput(df) <- structure(list(GK = 1:10, HGF = c(0L, 0L, 0L, 0L, 0L, 0L, 0L, 
0L, 0L, 0L), HJI = c(2L, 0L, 0L, 0L, 0L, 0L, 0L, 0L, 0L, 0L), 
    HDF = c(5L, 6L, 8L, 9L, 5L, 2L, 4L, 3L, 2L, 1L), KLJG = c(0L, 
    0L, 0L, 0L, 0L, 0L, 0L, 0L, 0L, 0L), KLJA = c(0L, 0L, 0L, 
    0L, 0L, 0L, 0L, 0L, 0L, 0L), KDA = c(10L, 11L, 15L, 18L, 
    11L, 10L, 10L, 15L, 12L, 13L), OIE = c(NA, NA, NA, NA, NA, 
    NA, NA, NA, NA, NA), AFE = c(0L, 0L, 0L, 1L, 0L, 0L, NA, 
    NA, NA, NA)), .Names = c("GK", "HGF", "HJI", "HDF", "KLJG", 
"KLJA", "KDA", "OIE", "AFE"), class = "data.frame", row.names = c(NA, 
-10L))

corrMatrix <- cor(df,use="pairwise.complete.obs")

摆脱这些烦人的变量最好的想法是什么？我已经尝试了许多命令,但没有找到一个可以摆脱这些变量的理想命令.这是我的一个试验:

removeme <- corrMatrix[,which(as.numeric(rowSums(is.na(corrMatrix))) > 100)] 

该命令的问题是,如果存在超过100个错误变量(在相关矩阵中给出NA),则将删除正常变量,因为正常变量的列将具有> 100个NA值.

我希望这次编辑能让我的问题更清晰.干杯.

Answer 1

如果你只想删除任何有一个或多个NAs的列,那就去做吧

x<-x[,colSums(is.na(x))==0]

但是,即使数据丢失,也可以NA通过use在函数中指定参数来计算没有值的相关矩阵cor.将其设置为pairwise.complete.obs或complete.obs将导致没有NAs 的相关矩阵.

complete.obs将忽略所有缺少数据的行,而pairwise.complete.obs忽略丢失的数据对.请注意,虽然pairwise.complete.obs"听起来更好",因为它使用了更多的可用数据,但不能保证产生正定相关矩阵,这可能是个问题.

> set.seed(123)
> x<-array(rnorm(500),c(100,5))
> x[sample(500,3)]<-NA
> cor(x)
     [,1] [,2] [,3]        [,4]        [,5]
[1,]    1   NA   NA          NA          NA
[2,]   NA    1   NA          NA          NA
[3,]   NA   NA    1          NA          NA
[4,]   NA   NA   NA  1.00000000 -0.01925986
[5,]   NA   NA   NA -0.01925986  1.00000000
> cor(x,use="pairwise.complete.obs")
            [,1]        [,2]        [,3]        [,4]        [,5]
[1,]  1.00000000 -0.04377085 -0.18049501 -0.04914247 -0.19374986
[2,] -0.04377085  1.00000000  0.01296008  0.02606083 -0.12333765
[3,] -0.18049501  0.01296008  1.00000000 -0.03218139 -0.02675554
[4,] -0.04914247  0.02606083 -0.03218139  1.00000000 -0.01925986
[5,] -0.19374986 -0.12333765 -0.02675554 -0.01925986  1.00000000
> cor(x,use="complete.obs")
            [,1]        [,2]        [,3]        [,4]        [,5]
[1,]  1.00000000 -0.06263112 -0.17914810 -0.02574970 -0.20504268
[2,] -0.06263112  1.00000000  0.01263764  0.02543900 -0.12571570
[3,] -0.17914810  0.01263764  1.00000000 -0.03866312 -0.02520500
[4,] -0.02574970  0.02543900 -0.03866312  1.00000000 -0.01688848
[5,] -0.20504268 -0.12571570 -0.02520500 -0.01688848  1.00000000

Answer 2

在评估数据集预测变量的相关性之前,请删除零方差预测变量.

删除零方差预测变量

zv <- apply(df, 2, function(x) length(unique(x)) == 1)

dfr <- df[, !zv](suppose df is the name of your dataset)

n=length(colnames(dfr))

计算相关矩阵

correlationMatrix <- cor(dfr[,1:n],use="complete.obs")

总结相关矩阵

print(correlationMatrix)

找到高度校正的属性(理想情况下> 0.7)

highlyCorrelated <- findCorrelation(correlationMatrix, cutoff=(0.7),verbose = FALSE)

打印高度相关属性的索引

print(highlyCorrelated)

重要的变数

important_var=colnames(df[,-highlyCorrelated])