删除重复的行

Question

我已经将CSV文件读入R data.frame.某些行在其中一列中具有相同的元素.我想删除该列中重复的行.例如:

platform_external_dbus          202           16                     google        1
platform_external_dbus          202           16         space-ghost.verbum        1
platform_external_dbus          202           16                  localhost        1
platform_external_dbus          202           16          users.sourceforge        8
platform_external_dbus          202           16                    hughsie        1

我只想要其中一行,因为其他行在第一列中具有相同的数据.

Answer 1

对于来这里寻找重复行删除的一般答案的人,请使用!duplicated():

a <- c(rep("A", 3), rep("B", 3), rep("C",2))
b <- c(1,1,2,4,1,1,2,2)
df <-data.frame(a,b)

duplicated(df)
[1] FALSE  TRUE FALSE FALSE FALSE  TRUE FALSE  TRUE

> df[duplicated(df), ]
  a b
2 A 1
6 B 1
8 C 2

> df[!duplicated(df), ]
  a b
1 A 1
3 A 2
4 B 4
5 B 1
7 C 2

回答:从R数据框中删除重复的行

Answer 2

只需将数据框与您需要的列隔离,然后使用唯一函数:D

# in the above example, you only need the first three columns
deduped.data <- unique( yourdata[ , 1:3 ] )
# the fourth column no longer 'distinguishes' them, 
# so they're duplicates and thrown out.

Answer 3

该函数distinct()在dplyr包执行任意重复的去除,从而允许重复变量的规范(如在这个问题),或者考虑到所有变量.

数据:

dat <- data.frame(a = rep(c(1,2),4), b = rep(LETTERS[1:4],2))

删除指定列重复的行:

library(dplyr)
dat %>% distinct(a, .keep_all = TRUE)

  a b
1 1 A
2 2 B

删除与其他行完全重复的行:

dat %>% distinct

  a b
1 1 A
2 2 B
3 1 C
4 2 D

Answer 4

该data.table软件包还unique和duplicated一些额外的功能,它自己的方法.

无论是unique.data.table和duplicated.data.table方法有一个额外的by参数,它允许你传递一个character或integer分别列名或它们的位置矢量

library(data.table)
DT <- data.table(id = c(1,1,1,2,2,2),
                 val = c(10,20,30,10,20,30))

unique(DT, by = "id")
#    id val
# 1:  1  10
# 2:  2  10

duplicated(DT, by = "id")
# [1] FALSE  TRUE  TRUE FALSE  TRUE  TRUE

这些方法的另一个重要特征是对较大数据集的巨大性能增益

library(microbenchmark)
library(data.table)
set.seed(123)
DF <- as.data.frame(matrix(sample(1e8, 1e5, replace = TRUE), ncol = 10))
DT <- copy(DF)
setDT(DT)

microbenchmark(unique(DF), unique(DT))
# Unit: microseconds
#       expr       min         lq      mean    median        uq       max neval cld
# unique(DF) 44708.230 48981.8445 53062.536 51573.276 52844.591 107032.18   100   b
# unique(DT)   746.855   776.6145  2201.657   864.932   919.489  55986.88   100  a 


microbenchmark(duplicated(DF), duplicated(DT))
# Unit: microseconds
#           expr       min         lq       mean     median        uq        max neval cld
# duplicated(DF) 43786.662 44418.8005 46684.0602 44925.0230 46802.398 109550.170   100   b
# duplicated(DT)   551.982   558.2215   851.0246   639.9795   663.658   5805.243   100  a 

Answer 5

这是一个非常简单、快速的dplyr解决tidy方案：

删除完全相同的行：

library(dplyr)
iris %>% 
  distinct(.keep_all = TRUE)

删除仅在某些列中相同的行：

iris %>% 
  distinct(Sepal.Length, Sepal.Width, .keep_all = TRUE)

Answer 6

一般的答案可以是例如：

df <-  data.frame(rbind(c(2,9,6),c(4,6,7),c(4,6,7),c(4,6,7),c(2,9,6))))



new_df <- df[-which(duplicated(df)), ]

输出：

      X1 X2 X3
    1  2  9  6
    2  4  6  7

Answer 7

您还可以使用dplyr的distinct()功能！它往往比替代选项更有效，尤其是在您有大量观察数据的情况下。

distinct_data <- dplyr::distinct(yourdata)

Answer 8

用sqldf:

# Example by Mehdi Nellen
a <- c(rep("A", 3), rep("B", 3), rep("C",2))
b <- c(1,1,2,4,1,1,2,2)
df <-data.frame(a,b)

解:

 library(sqldf)
    sqldf('SELECT DISTINCT * FROM df')

输出:

  a b
1 A 1
2 A 2
3 B 4
4 B 1
5 C 2