包含NAs的因子列的唯一值=>"哈希表已满"错误

Question

我有一个57m记录和9列的data.table,当我尝试运行一些摘要统计时,其中一个会导致问题.有问题的列是3699级别的因素,我从以下代码行收到错误:

    > unique(da$UPC)
    Error in unique.default(da$UPC): hash table is full

现在很明显我只会使用:levels(da$UPC)但我试图计算每个组中存在的唯一值,作为data.table组语句中多个j参数/ caluclations的一部分.

有趣的unique(da$UPC[1:1000000])是按预期工作,但unique(da$UPC[1:10000000])没有.鉴于我的表有57m记录,这是一个问题.

我尝试将因子转换为字符,这没有问题,如下所示:

    da$UPC = as.character(levels(da$UPC))[da$UPC]
    unique(da$UPC)

这样做确实向我展示了一个额外的"水平" NA.因此,因为我的数据在因子列中有一些NA,所以唯一函数无法工作.我想知道这是否是开发人员意识到需要修复的东西？我发现以下关于r-devel的文章可能是相关的,但我不确定,也没有提及data.table.

链接文章:唯一(1:3,nmax = 1)冻结R!

    sessionInfo:

    R version 3.0.1 (2013-05-16)
    Platform: x86_64-unknown-linux-gnu (64-bit)

    locale:
     [1] LC_CTYPE=C                    LC_NUMERIC=C
     [3] LC_TIME=en_US.iso88591        LC_COLLATE=C
     [5] LC_MONETARY=en_US.iso88591    LC_MESSAGES=en_US.iso88591
     [7] LC_PAPER=C                    LC_NAME=C
     [9] LC_ADDRESS=C                  LC_TELEPHONE=C
     [11] LC_MEASUREMENT=en_US.iso88591 LC_IDENTIFICATION=C

    attached base packages:
    [1] stats     graphics  grDevices utils     datasets  methods   base

    other attached packages:
    [1] plyr_1.8         data.table_1.8.8

Answer 1

你能使用dplyr并得到不同的结果吗？例如，我设置了一些（小）假数据，然后确定 的不同级别alpha。我不知道它的扩展效果如何。

test <- data.frame(alpha=sample(c('a', 'b', 'c'), 100000, replace=TRUE), 
                  num=runif(100000))

uniqueAlpha <- distinct(select(test, alpha))