我正在寻找一个通用的解决方案来更新一个大数据帧与第二个类似数据帧的内容.我有几十个数据集,每个数据集有数千行,超过10,000列."更新"数据集将与其对应的"基础"数据集重叠,从几个百分点到大约百分之五十,行方向.数据集具有"键"列,并且在任何给定数据集中每个唯一键值只有一行.
基本规则是:如果给定单元格的更新数据集中存在非NA值,则使用该值替换基础数据集中的相同单元格.("相同单元格"表示"key"列和colname的相同值.)
请注意,更新数据集可能包含我可以使用rbind处理的新行("插入").
因此,给定基础数据框"df1",其中列"K"是唯一键列,"P1"."P3"代表10,000列,其名称将从一对数据集到下一个数据集变化:
K P1 P2 P3
1 A 1 1 1
2 B 1 1 1
3 C 1 1 1
...和更新数据框"df2":
K P1 P2 P3
1 B 2 NA 2
2 C NA 2 2
3 D 2 2 2
我需要的结果如下,其中"B"和"C"的1被2覆盖,但没有被NA覆盖:
K P1 P2 P3
1 A 1 1 1
2 B 2 1 2
3 C 1 2 2
4 D 2 2 2
这似乎不是合并候选者,因为合并给我重复行(相对于"关键"列)或重复列(例如P1.x,P1.y),我必须迭代以折叠某种方式.
我已经尝试预先分配一个矩阵,其中包含最终行/列的维度,并用df1的内容填充它,然后迭代df2的重叠行,但我不能比每秒20个单元格的性能更好,需要几小时完成(与SAS中等效的DATA step UPDATE功能的分钟数相比).
我确定我错过了什么,但找不到类似的例子.
我看到ddply用法看起来很接近,但不是一般的解决方案.该data.table软件包似乎没有帮助,因为对我来说这是一个连接问题并不明显,至少通常没有这么多列.
另外一个只关注交叉行的解决方案就足够了,因为我可以识别其他行并将其绑定.
以下是制作上述数据框的一些代码:
cat("K,P1,P2,P3", "A,1,1,1", …我正在尝试使用最新的reshape2包(1.2.1)中的dcast来对数据帧(或data.table)进行非规范化,其中value.var是POSIXct类型,但在结果数据框中,日期值已丢失他们的POSIXct类并成为数字.
我是否真的必须as.POSIXct()每个生成的列,如果我想将值恢复为POSIXct的,或者我错过了什么？
x <- c("a","b");
y <- c("c","d");
z <- as.POSIXct(c("2012-01-01 01:01:01","2012-02-02 02:02:02"));
d <- data.frame(x, y, z, stringsAsFactors=FALSE);
str(d);
library(reshape2);
e <- dcast(d, formula = x ~ y, value.var = "z");
str(e);
运行上述语句的结果(注意新列c和d是数字纪元秒而不是POSIXct):
> x <- c("a","b");
> y <- c("c","d");
> z <- as.POSIXct(c("2012-01-01 01:01:01","2012-02-02 02:02:02"));
> d <- data.frame(x, y, z, stringsAsFactors=FALSE);
> str(d);
'data.frame': 2 obs. of 3 variables:
$ x: chr "a" "b"
$ y: chr "c" "d"
$ z: POSIXct, …