如何删除仅包含NAs的列？
我有一个data.frame包含一些包含所有NA值的列,如何从data.frame中删除它们.
我可以使用这个功能吗？
na.omit(...)
指定一些额外的参数？
Mad*_*one 106
一种方法:
df[, colSums(is.na(df)) != nrow(df)]
如果列中的NA数等于行数,则它必须完全为NA.
或者类似的
df[colSums(!is.na(df)) > 0]
- 也可以使用dplyr(版本0.5.0)select_if函数.`df%>%select_if(colSums(!is.na(.))> 0)` (8认同)
- @lovedynasty可能最好提交一个单独的问题,假设您自发表评论后尚未提出.但无论如何,你总是可以做像`df [,colSums(is.na(df))<nrow(df)*0.5]这样的事情,即只保留至少50%非空白的列. (2认同)
- 使用相关矩阵的人必须使用`df [,colSums(is.na(df))!= nrow(df) - 1]`因为对角线总是"1" (2认同)
Bra*_*ell 36
这是一个dplyr解决方案:
df %>% select_if(~sum(!is.na(.)) > 0)
- 在约1.5万行和约5000列的情况下，这确实是永远的事。 (3认同)
- 这是一行相同的答案（对于复制粘贴更实用）： `dplyr::select(dplyr::where(~sum(!is.na(.x)) > 0))` (3认同)
Sim*_*lon 22
它seeems像你想删除ONLY的列ALL NA S,留下列了一些行认为确实有NA秒.我会这样做(但我相信有一个有效的矢量化的方法:
#set seed for reproducibility
set.seed <- 103
df <- data.frame( id = 1:10 , nas = rep( NA , 10 ) , vals = sample( c( 1:3 , NA ) , 10 , repl = TRUE ) )
df
# id nas vals
# 1 1 NA NA
# 2 2 NA 2
# 3 3 NA 1
# 4 4 NA 2
# 5 5 NA 2
# 6 6 NA 3
# 7 7 NA 2
# 8 8 NA 3
# 9 9 NA 3
# 10 10 NA 2
#Use this command to remove columns that are entirely NA values, it will elave columns where only some vlaues are NA
df[ , ! apply( df , 2 , function(x) all(is.na(x)) ) ]
# id vals
# 1 1 NA
# 2 2 2
# 3 3 1
# 4 4 2
# 5 5 2
# 6 6 3
# 7 7 2
# 8 8 3
# 9 9 3
# 10 10 2
如果您发现自己处于要删除具有任何NA值的列的情况,则只需将all上面的命令更改为any.
jst*_*sta 17
另一个选择是janitor包:
df <- remove_empty_cols(df)
https://github.com/sfirke/janitor
- 不再使用janitor :: remove_empty_cols（）-使用df <-janitor :: remove_empty（df，其中=“ cols”） (4认同)
Sib*_*ang 14
一个直观的脚本:dplyr::select_if(~!all(is.na(.))).它实际上只保留了所有元素缺失的列.(删除所有缺少元素的列).
> df <- data.frame( id = 1:10 , nas = rep( NA , 10 ) , vals = sample( c( 1:3 , NA ) , 10 , repl = TRUE ) )
> df %>% glimpse()
Observations: 10
Variables: 3
$ id <int> 1, 2, 3, 4, 5, 6, 7, 8, 9, 10
$ nas <lgl> NA, NA, NA, NA, NA, NA, NA, NA, NA, NA
$ vals <int> NA, 1, 1, NA, 1, 1, 1, 2, 3, NA
> df %>% select_if(~!all(is.na(.)))
id vals
1 1 NA
2 2 1
3 3 1
4 4 NA
5 5 1
6 6 1
7 7 1
8 8 2
9 9 3
10 10 NA
akr*_*run 10
另一种选择 Filter
Filter(function(x) !all(is.na(x)), df)
注:来自@Simon O'Hanlon的帖子的数据.
因为性能对我来说真的很重要，所以我对上述所有功能进行了基准测试。
注意：来自@Simon O'Hanlon 帖子的数据。只有大小为 15000 而不是 10。
library(tidyverse)
library(microbenchmark)
set.seed(123)
df <- data.frame(id = 1:15000,
nas = rep(NA, 15000),
vals = sample(c(1:3, NA), 15000,
repl = TRUE))
df
MadSconeF1 <- function(x) x[, colSums(is.na(x)) != nrow(x)]
MadSconeF2 <- function(x) x[colSums(!is.na(x)) > 0]
BradCannell <- function(x) x %>% select_if(~sum(!is.na(.)) > 0)
SimonOHanlon <- function(x) x[ , !apply(x, 2 ,function(y) all(is.na(y)))]
jsta <- function(x) janitor::remove_empty(x)
SiboJiang <- function(x) x %>% dplyr::select_if(~!all(is.na(.)))
akrun <- function(x) Filter(function(y) !all(is.na(y)), x)
mbm <- microbenchmark(
"MadSconeF1" = {MadSconeF1(df)},
"MadSconeF2" = {MadSconeF2(df)},
"BradCannell" = {BradCannell(df)},
"SimonOHanlon" = {SimonOHanlon(df)},
"SiboJiang" = {SiboJiang(df)},
"jsta" = {jsta(df)},
"akrun" = {akrun(df)},
times = 1000)
mbm
结果：
Unit: microseconds
expr min lq mean median uq max neval cld
MadSconeF1 154.5 178.35 257.9396 196.05 219.25 5001.0 1000 a
MadSconeF2 180.4 209.75 281.2541 226.40 251.05 6322.1 1000 a
BradCannell 2579.4 2884.90 3330.3700 3059.45 3379.30 33667.3 1000 d
SimonOHanlon 511.0 565.00 943.3089 586.45 623.65 210338.4 1000 b
SiboJiang 2558.1 2853.05 3377.6702 3010.30 3310.00 89718.0 1000 d
jsta 1544.8 1652.45 2031.5065 1706.05 1872.65 11594.9 1000 c
akrun 93.8 111.60 139.9482 121.90 135.45 3851.2 1000 a
autoplot(mbm)
mbm %>%
tbl_df() %>%
ggplot(aes(sample = time)) +
stat_qq() +
stat_qq_line() +
facet_wrap(~expr, scales = "free")
