使用字符后缀而不是数字后缀重新整形为长到长

Question

受@ gsk3关于重塑数据的问题的评论的启发,我开始对重组数据进行一些实验,其中变量名称具有字符后缀而不是数字后缀.

例如,我dadmomw将从其中一个UCLA ATS Stata学习网页加载数据集(参见网页上的"示例4").

这是数据集的样子:

library(foreign)
dadmom <- read.dta("https://stats.idre.ucla.edu/stat/stata/modules/dadmomw.dat")
dadmom
#   famid named  incd namem  incm
# 1     1  Bill 30000  Bess 15000
# 2     2   Art 22000   Amy 18000
# 3     3  Paul 25000   Pat 50000

当试图从这种宽格式重塑到很长时间时,我遇到了一个问题.这是我重塑数据的方法.

reshape(dadmom, direction="long", idvar=1, varying=2:5, 
        sep="", v.names=c("name", "inc"), timevar="dadmom",
        times=c("d", "m"))
#     famid dadmom  name  inc
# 1.d     1      d 30000 Bill
# 2.d     2      d 22000  Art
# 3.d     3      d 25000 Paul
# 1.m     1      m 15000 Bess
# 2.m     2      m 18000  Amy
# 3.m     3      m 50000  Pat

注意"name"和"inc"的交换列名称; 改变v.names以c("inc", "name")不解决问题.

reshape想要以相当标准的方式命名列,似乎非常挑剔.例如,如果我首先重命名列,我可以正确地(并且容易地)重新整形数据:

dadmom2 <- dadmom # Just so we can continue experimenting with the original data
# Change the names of the last four variables to include a "."
names(dadmom2)[2:5] <- gsub("(d$|m$)", "\\.\\1", names(dadmom2)[2:5])
reshape(dadmom2, direction="long", idvar=1, varying=2:5, 
        timevar="dadmom")
#     famid dadmom name   inc
# 1.d     1      d Bill 30000
# 2.d     2      d  Art 22000
# 3.d     3      d Paul 25000
# 1.m     1      m Bess 15000
# 2.m     2      m  Amy 18000
# 3.m     3      m  Pat 50000

我的问题是:

1. 为什么R在我提供的示例中交换列？
2. reshape在重新整形之前,我是否可以使用基数R获得此结果而不更改变量名称？
3. 是否有其他方法可以考虑而不是reshape？

Answer 1

这有效(指定改变哪些列与谁一起):

reshape(dadmom, direction="long",  varying=list(c(2, 4), c(3, 5)), 
        sep="", v.names=c("name", "inc"), timevar="dadmom",
        times=c("d", "m"))

所以你实际上在这里嵌套了重复的措施; 妈妈和爸爸的名字和公司.因为您有多个重复测量系列,所以必须提供一个list变量来告诉reshape哪个组在另一个组上堆叠.

因此,解决这个问题的两种方法是像我一样提供一个列表,或者按照R野兽喜欢它们的方式重命名列.

有关详细信息,请参阅我最近的博客reshape(特别是第二个链接处理此问题):

重塑(第一部分)

重塑(第二部分)

Answer 2

虽然这个问题专门针对基础R,但了解其他可以帮助您实现相同类型结果的方法也很有用.

一种替代reshape或merged.stack将要使用"dplyr"和"tidry"的组合,如下所示:

dadmom %>%
  gather(variable, value, -famid) %>%               ## Make the entire dataset long
  separate(variable, into = c("var", "time"),       ## Split "variable" column into two...
           sep = "(?<=name|inc)", perl = TRUE) %>%  ## ... using regex to split the values
  spread(var, value, convert = TRUE)                ## Make result wide, converting type
#   famid time   inc name
# 1     1    d 30000 Bill
# 2     1    m 15000 Bess
# 3     2    d 22000  Art
# 4     2    m 18000  Amy
# 5     3    d 25000 Paul
# 6     3    m 50000  Pat

另一种选择是使用melt"data.table",如下所示:

library(data.table)
melt(as.data.table(dadmom),             ## melt here requres a data.table 
     measure = patterns("name", "inc"), ## identify columns by patterns
     value.name = c("name", "inc"))[    ## specify the resulting variable names
       ## melt creates a numeric "variable" value. Replace with factored labels
       , variable := factor(variable, labels = c("d", "m"))][]
#    famid variable name   inc
# 1:     1        d Bill 30000
# 2:     2        d  Art 22000
# 3:     3        d Paul 25000
# 4:     1        m Bess 15000
# 5:     2        m  Amy 18000
# 6:     3        m  Pat 50000

这些方法与之相比如何merged.stack？

• 这两个包都得到了更好的支持.他们比我更广泛地更新和测试他们的代码.
• melt 炽热得快.
• Hadleyverse方法实际上更慢(在我的许多测试中,甚至比基本R更慢reshape)可能是因为必须使数据变长,然后变宽,然后执行类型转换.但是,一些用户喜欢它的逐步方法.
• Hadleyverse方法可能会产生一些意想不到的后果,因为需要在使数据变宽之前将数据设置得很长.这会强制所有度量列被强制为相同类型(通常是"字符"),如果它们的类型不同则开始.
• 两者都没有相同的便利性merged.stack.只需看看获得结果所需的代码;-)

merged.stack但是,可能会受益于简化的更新,这与此功能类似

ReshapeLong_ <- function(indt, stubs, sep = NULL) {
  if (!is.data.table(indt)) indt <- as.data.table(indt)
  mv <- lapply(stubs, function(y) grep(sprintf("^%s", y), names(indt)))
  levs <- unique(gsub(paste(stubs, collapse="|"), "", names(indt)[unlist(mv)]))
  if (!is.null(sep)) levs <- gsub(sprintf("^%s", sep), "", levs, fixed = TRUE)
  melt(indt, measure = mv, value.name = stubs)[
    , variable := factor(variable, labels = levs)][]
}

然后可以用作:

ReshapeLong_(dadmom, stubs = c("name", "inc"))

这些方法与基础R相比如何reshape？

• 主要区别在于reshape无法处理不平衡的面板数据集.例如,在下面的测试中,参见"mydf2"而不是"mydf".

测试用例

这是一些示例数据."mydf"是平衡的."mydf2"不平衡.

set.seed(1)
x <- 10000
mydf <- mydf2 <- data.frame(
  id_1 = 1:x, id_2 = c("A", "B"), varAa = sample(letters, x, TRUE), 
  varAb = sample(letters, x, TRUE), varAc = sample(letters, x, TRUE),
  varBa = sample(10, x, TRUE), varBb = sample(10, x, TRUE), 
  varBc = sample(10, x, TRUE), varCa = rnorm(x), varCb = rnorm(x), 
  varCc = rnorm(x), varDa = rnorm(x), varDb = rnorm(x), varDc = rnorm(x))

mydf2 <- mydf2[-c(9, 14)] ## Make data unbalanced

以下是一些要测试的函数:

f1 <- function(mydf) {
  mydf %>%
    gather(variable, value, starts_with("var")) %>%
    separate(variable, into = c("var", "time"),
             sep = "(?<=varA|varB|varC|varD)", perl = TRUE) %>%
    spread(var, value, convert = TRUE) 
}

f2 <- function(mydf) {
  melt(as.data.table(mydf),
       measure = patterns(paste0("var", c("A", "B", "C", "D"))),
       value.name = paste0("var", c("A", "B", "C", "D")))[
         , variable := factor(variable, labels = c("a", "b", "c"))][]
}

f3 <- function(mydf) {
  merged.stack(mydf, var.stubs = paste0("var", c("A", "B", "C", "D")), sep = "var.stubs")
}

## Won't run with "mydf2". Should run with "mydf"
f4 <- function(mydf) {
  reshape(mydf, direction = "long", 
          varying = lapply(c("varA", "varB", "varC", "varD"), 
                           function(x) grep(x, names(mydf))), 
          sep = "", v.names = paste0("var", c("A", "B", "C", "D")), 
          timevar="time", times = c("a", "b", "c"))
}

测试性能:

library(microbenchmark)
microbenchmark(f1(mydf), f2(mydf), f3(mydf), f4(mydf))
# Unit: milliseconds
#      expr        min         lq       mean     median         uq       max neval
#  f1(mydf) 463.006547 492.073086 528.533319 514.189548 538.910756 867.93356   100
#  f2(mydf)   3.737321   4.108376   6.674066   4.332391   4.761681  47.71142   100
#  f3(mydf)  60.211254  64.766770  86.812077  87.040087  92.841747 262.89409   100
#  f4(mydf)  40.596455  43.753431  61.006337  48.963145  69.983623 230.48449   100

观察:

• Base R reshape将无法处理重塑"mydf2".
• "dplyr"+"tidyr"方法会在结果"varB","varC"和"varD"中破坏结果,因为值会被强制转换为字符.
• 如基准所示,reshape给出合理的表现.

_{注意:由于发布我的最后答案与方法上的差异之间的时间差异,我想我会将此作为一个新答案分享.}