使用R中的ffdfdply函数进行聚合

Question

我尝试使用'ffbase'包使用ffdfdplyR中的函数对大型数据集进行聚合.
假设我有三个变量叫做Date,Item和sales.在这里,我想使用sum函数聚合Date和Item上的销售额.你能指导我在R中使用一些正确的语法吗？
我试过这样:

grp_qty <- ffdfdply(x=data[c("sales","Date","Item")], split=as.character(data$sales),FUN = function(data)  

summaryBy(Date+Item~sales, data=data, FUN=sum)).

我很感激您的解决方案.

Answer 1

标记ffdfdply是ffbase的一部分,而不是ff.为了显示ffdfdply的使用示例,让我们生成一个ffdf50Mio的行.

  require(ffbase)
  data <- expand.ffgrid(Date = ff(seq.Date(Sys.Date(), Sys.Date()+10000, by = "day")), Item = ff(factor(paste("Item", 1:5000))))
  data$sales <- ffrandom(n = nrow(data))
  # split by date -> assuming that all sales of 1 date can fit into RAM
  splitby <- as.character(data$Date, by = 250000)
  grp_qty <- ffdfdply(x=data[c("sales","Date","Item")], 
                      split=splitby, 
                      FUN = function(data){
                        ## This happens in RAM - containing **several** split elements so here we can use data.table which works fine for in RAM computing
                        require(data.table)
                        data <- as.data.table(data)
                        result <- data[, list(sales = sum(sales, na.rm=TRUE)), by = list(Date, Item)]
                        as.data.frame(result)
                      })
  dim(grp_qty)

标记grp_qty是ffdf驻留在磁盘上的.