在R中的data.table中选择NA

Question

如何选择数据表中主键中缺少值的所有行.

DT = data.table(x=rep(c("a","b",NA),each=3), y=c(1,3,6), v=1:9)
setkey(DT,x)   

选择特定值很容易

DT["a",]  

选择缺失值似乎需要矢量搜索.一个人不能使用二进制搜索.我对么？

DT[NA,]# does not work
DT[is.na(x),] #does work

Answer 1

幸运的是,DT[is.na(x),]几乎和(例如)一样快DT["a",],所以在实践中,这可能并不重要:

library(data.table)
library(rbenchmark)

DT = data.table(x=rep(c("a","b",NA),each=3e6), y=c(1,3,6), v=1:9)
setkey(DT,x)  

benchmark(DT["a",],
          DT[is.na(x),],
          replications=20)
#             test replications elapsed relative user.self sys.self user.child
# 1      DT["a", ]           20    9.18    1.000      7.31     1.83         NA
# 2 DT[is.na(x), ]           20   10.55    1.149      8.69     1.85         NA

===

Matthew的补充(不适合评论):

不过,上述数据有3个非常大的群体.因此,二进制搜索的速度优势在于创建大型子集的时间占主导地位(复制了1/3的数据).

benchmark(DT["a",],  # repeat select of large subset on my netbook
    DT[is.na(x),],
    replications=3)
          test replications elapsed relative user.self sys.self
     DT["a", ]            3   2.406    1.000     2.357    0.044
DT[is.na(x), ]            3   3.876    1.611     3.812    0.056

benchmark(DT["a",which=TRUE],   # isolate search time
    DT[is.na(x),which=TRUE],
    replications=3)
                      test replications elapsed relative user.self sys.self
     DT["a", which = TRUE]            3   0.492    1.000     0.492    0.000
DT[is.na(x), which = TRUE]            3   2.941    5.978     2.932    0.004

随着返回的子集的大小减小(例如,添加更多组),差异变得明显.单列上的矢量扫描也不错,但是在2列或更多列上它会快速降级.

也许NAs应该可以加入.不过,我似乎还记得那个问题.这是FR#1043允许或禁止按键NA的一些历史记录？.它提到那里NA_integer_是一个负整数.这会导致基数/计数排序(iirc)上升,导致setkey速度变慢.但它在重新审视的名单上.

Answer 2

现在在v1.8.11中实现了这一点.来自新闻:

O二进制文件搜索现在能够子集的NA/ NaNS和也执行joins和merges通过匹配NA秒/ NaN秒.

虽然你必须提供正确的NA(NA_real_,NA_character_等..)明确的时刻.

关于OP的数据:

DT[J(NA_character_)] # or for characters simply DT[NA_character_]
#     x y v
# 1: NA 1 7
# 2: NA 3 8
# 3: NA 6 9

另外,这里是来自@ JoshOBrien的帖子的相同基准,这个NA的二进制搜索添加了:

library(data.table)
library(rbenchmark)

DT = data.table(x=rep(c("a","b",NA),each=3e6), y=c(1,3,6), v=1:9)
setkey(DT,x)  

benchmark(DT["a",],
          DT[is.na(x),],
          DT[NA_character_], 
          replications=20)

            test replications elapsed relative user.self sys.self
1      DT["a", ]           20   4.763    1.238     4.000    0.567
2 DT[is.na(x), ]           20   5.399    1.403     4.537    0.794
3         DT[NA]           20   3.847    1.000     3.215    0.600 # <~~~