我在data.table中复制行的方式有效吗？

Question

我有一个月度数据data.table和另一个年度数据data.table,现在我想将年度数据与月度数据中的相应观察值相匹配.

我的方法如下:复制每个月的年度数据,然后加入月度和年度数据.现在我有一个关于行重复的问题.我知道怎么做,但我不确定这是不是最好的方法,所以有些意见会很棒.

以下是data.table DT我的年度数据的示例以及我目前的复制方式:

library(data.table)
DT <- data.table(ID = paste(rep(c("a", "b"), each=3), c(1:3, 1:3), sep="_"),
                    values = 10:15,
                    startMonth = seq(from=1, by=2, length=6),
                    endMonth = seq(from=3, by=3, length=6))
DT
      ID values startMonth endMonth
[1,] a_1     10          1        3
[2,] a_2     11          3        6
[3,] a_3     12          5        9
[4,] b_1     13          7       12
[5,] b_2     14          9       15
[6,] b_3     15         11       18
#1. Alternative
DT1 <- DT[, list(MONTH=startMonth:endMonth), by="ID"]
setkey(DT,  ID)
setkey(DT1, ID)
DT1[DT]
ID MONTH values startMonth endMonth
a_1     1     10          1        3
a_1     2     10          1        3
a_1     3     10          1        3
a_2     3     11          3        6
[...]

最后一次加入正是我想要的.但是,DT[, list(MONTH=startMonth:endMonth), by="ID"]除了添加其他列之外,我已经做了我想要的一切DT,所以我想知道我是否可以摆脱代码中的最后三行,即setkey和join操作.事实证明,您可以,只需执行以下操作:

#2. Alternative: More intuitiv and just one line of code
DT[, list(MONTH=startMonth:endMonth, values, startMonth, endMonth), by="ID"]
 ID MONTH values startMonth endMonth
a_1    1     10          1        3
a_1    2     10          1        3
a_1    3     10          1        3
a_2    3     11          3        6
...

但是,这只能起作用,因为我将列名硬编码到list表达式中.在我的真实数据中,我事先并不知道所有列的名称,所以我想知道我是否可以告诉data.table返回MONTH我计算的列,如上所示和所有其他列DT..SD似乎能够做到这一点,但是:

DT[, list(MONTH=startMonth:endMonth, .SD), by="ID"]
Error in `[.data.table`(DT, , list(YEAR = startMonth:endMonth, .SD), by = "ID") : 
  maxn (4) is not exact multiple of this j column's length (3)

总而言之,我知道它是如何完成的,但我只是想知道这是否是最好的方法,因为我仍然在语法上苦苦挣扎data.table,经常在帖子和维基上阅读做事的好与坏.另外,我不明白为什么我在使用时会出错.SD.我认为这只是告诉data.table你想要所有列的简单方法.我错过了什么？

Answer 1

好问题.你尝试的是非常合理的.假设您正在使用v1.7.1,现在可以更轻松地创建list列.在这种情况下,它试图在第3组的MONTH列旁边(3个项目)中创建一个list列.SD(4个项目).我会把它作为一个错误提出[编辑:现在修复于v1.7.5],谢谢.

在此期间,尝试:

DT[, cbind(MONTH=startMonth:endMonth, .SD), by="ID"]
 ID MONTH values startMonth endMonth
a_1     1     10          1        3
a_1     2     10          1        3
a_1     3     10          1        3
a_2     3     11          3        6
...

还有,看看你见过roll=TRUE吗？通常,您只有一个startMonth列(不规则的间隙),然后roll加入它.您的示例数据具有重叠的月份范围,因此使其复杂化.

Answer 2

看着这个我意识到答案是唯一可能的,因为它ID是一个独特的键(没有重复).这是另一个重复的答案.但是,顺便说一下,有些人NA似乎在悄悄进入.这可能是一个错误吗？我正在使用v1.8.7(提交796).

library(data.table)
DT <- data.table(x=c(1,1,1,1,2,2,3),y=c(1,1,2,3,1,1,2))

DT[,rep:=1L][c(2,7),rep:=c(2L,3L)]   # duplicate row 2 and triple row 7
DT[,num:=1:.N]                       # to group each row by itself

DT
   x y rep num
1: 1 1   1   1
2: 1 1   2   2
3: 1 2   1   3
4: 1 3   1   4
5: 2 1   1   5
6: 2 1   1   6
7: 3 2   3   7

DT[,cbind(.SD,dup=1:rep),by="num"]
    num x y rep dup
 1:   1 1 1   1   1
 2:   2 1 1   1  NA      # why these NA?
 3:   2 1 1   2  NA
 4:   3 1 2   1   1
 5:   4 1 3   1   1
 6:   5 2 1   1   1
 7:   6 2 1   1   1
 8:   7 3 2   3   1
 9:   7 3 2   3   2
10:   7 3 2   3   3

只是为了完整性,更快的方法是rep行号,然后在一个步骤中采用子集(没有分组,也没有使用cbind或.SD):

DT[rep(num,rep)]
    x y rep num
 1: 1 1   1   1
 2: 1 1   2   2
 3: 1 1   2   2
 4: 1 2   1   3
 5: 1 3   1   4
 6: 2 1   1   5
 7: 2 1   1   6
 8: 3 2   3   7
 9: 3 2   3   7
10: 3 2   3   7

在此示例数据中,列rep恰好与rep()基本函数同名.