在St中标记R中的所有重复行

Question

从我的问题的后续行动在这里,我想R中复制的Stata命令的功能duplicates tag,这让我标记的数据集是在重复一组给定的变量条件的所有行:

clear *
set obs 16
g f1 = _n
expand 104
bys f1: g f2 = _n
expand 2
bys f1 f2: g f3 = _n
expand 41
bys f1 f2 f3: g f4 = _n
des  // describe the dataset in memory

preserve
sample 10  // draw a 10% random sample
tempfile sampledata
save `sampledata', replace
restore

// append the duplicate rows to the data
append using `sampledata'
sort f1-f4

duplicates tag f1-f4, generate(dupvar)
browse if dupvar == 1  // check that all duplicate rows have been tagged

编辑

以下是Stata生产的产品(根据@ Arun的要求添加):

f1   f2   f3   f4   dupvar  
 1    1    1    1        0  
 1    1    1    2        0  
 1    1    1    3        1  
 1    1    1    3        1  
 1    1    1    4        0  
 1    1    1    5        0  
 1    1    1    6        0  
 1    1    1    7        0  
 1    1    1    8        1  
 1    1    1    8        1

请注意,因为(f1, f2, f3, f4) = (1, 1, 1, 3)有两行,并且都标记了这两行dupvar = 1.同样,对于两个重复的行(f1, f2, f3, f4) =(1, 1, 1, 8).

R:

基函数duplicated仅标记第二个副本.所以,我写了一个函数来复制R中的Stata功能,使用ddply.

# Values of (f1, f2, f3, f4) uniquely identify observations
dfUnique = expand.grid(f1 = factor(1:16),
            f2 = factor(1:41),
            f3 = factor(1:2),
            f4 = factor(1:104))

# sample some extra rows and rbind them
dfDup = rbind(dfUnique, dfUnique[sample(1:nrow(dfUnique), 100), ])

# dummy data 
dfDup$data = rnorm(nrow(dfDup))

# function: use ddply to tag all duplicate rows in the data
fnDupTag = function(dfX, indexVars) {
  dfDupTag = ddply(dfX, .variables = indexVars, .fun = function(x) {
    if(nrow(x) > 1) x$dup = 1 else x$dup = 0
    return(x)
  })
  return(dfDupTag)
}

# test the function
indexVars = paste0('f', 1:4, sep = '')
dfTemp = fnDupTag(dfDup, indexVars)

但是在链接问题中,性能是一个巨大的问题.另一种可能的解决方案是

dfDup$dup = duplicated(dfDup[, indexVars]) | 
  duplicated(dfDup[, indexVars], fromLast = TRUE) 
dfDupSorted = with(dfDup, dfDup[order(eval(parse(text = indexVars))), ])

我有几个问题:
1.是否有可能使ddply版本更快？
2.第二个版本使用duplicated正确吗？对于重复行的两个以上副本？3.我将如何使用data.table？会更快吗？

Answer 1

我会在这里回答你的第三个问题..(我认为第一个问题或多或少在你的另一篇文章中回答).

## Assuming DT is your data.table
DT[, dupvar := 1L*(.N > 1L), by=c(indexVars)]

:=dupvar 通过引用添加新列(因此非常快,因为没有复制)..N是一个特殊变量data.table,它提供属于每个组的观察数量(此处为每个组f1,f2,f3,f4).

花点时间并通过?data.table(并在那里运行示例)来了解用法.以后它会为你节省很多时间.

所以,基本上,我们分组indexVars,检查是否.N > 1L是这种情况,它会返回TRUE.我们乘以1L返回值integer而不是logical值.

如果需要,您还可以使用按列对其进行排序setkey.

从下一个版本开始(目前在v1.9.3中实现 - 开发版本),还有一个setorder导出的功能,只需data.table 按引用进行排序,而无需设置密钥.它也可以按升序或降序排序.(请注意,setkey 始终只按升序排序).

也就是说,在下一个版本中你可以这样做:

setorder(DT, f1, f2, f3, f4)
## or equivalently
setorderv(DT, c("f1", "f2", "f3", "f4"))

此外,DT[order(...)]内部使用也进行了优化,以便使用data.table快速订购.也就是说,DT[order(...)]在内部被检测并且被改变为DT[forder(DT, ...)]比基数快得多order.因此,如果您不想通过引用更改它,并希望将已排序的data.table内容分配给另一个变量,您可以这样做:

DT_sorted <- DT[order(f1, f2, f3, f4)] ## internally optimised for speed
                                       ## but still copies!

HTH