使用R来计算cohen的Kappa的分类等级但是在容差范围内？

Question

我有2个独立评估者的一系列评级(分类至少12个级别).我想计算评估者之间的可靠性,但允许一个级别的差异.即1级和2级将被视为协议,但1级和3级不会.我不想使用像相关系数这样的度量,因为知道额定值是否在1级差异内是很重要的.可以这样做吗？

编辑以包括样本数据:每个单元格代表评估者的数量(max = 2),分配AE等级

structure(list(A = c(2, 2, 0, 0, 0,0,0,0,0), B = c(0,0,0,0,1,0,1,0,2), C = c(0,0,0,0,1,0,0,2,0), D=c(0,0,2,0,0,2,1,0,0), E=c(0,0,0,2,0,0,0,0,0)),row.names = c(NA,9L), class = "data.frame")

Answer 1

好吧,我不确定这是否适合你,但我认为它会达到标准.基本上,您需要根据不同的协议标准在评估者之间找到一致意见.这真的不是什么大不了的事.基本上,为了Cohen的kappa,评估者要么同意,要么他们不同意.

首先制作样本数据:

testdata <- structure(list(A=c(2,2,0,0,0,0,0,0,0),
                           B=c(0,0,0,0,1,0,1,0,2),
                           C=c(0,0,0,0,1,0,0,2,0),
                           D=c(0,0,2,0,0,2,1,0,0),
                           E=c(0,0,0,2,0,0,0,0,0)),
            row.names = c(NA,9L),
            class = "data.frame")

对于kappa的计算,我们将使用该irr包:

library(irr)

的kappa2函数irr需要一个2*n个数据帧或矩阵和返回计算.您的数据格式不同,因此我们需要将其转换为kappa2可以处理的内容.如果你已经采用这种格式,那将会更容易.

首先,我首先创建一个新的数据框来接收重组结果.

new_testdata <- data.frame(R1="",R2="",stringsAsFactors=FALSE)

现在,一个简单的循环遍历每一行并返回一个带有每个评估者评级的向量.显然,这不是指定的实际评级; 这里的代码假设第一个评估者的评分总是高于第二个评估者.在这个特殊情况下没关系,因为我们只关心协议,但我希望你有完整的数据.

for(x in 1:dim(testdata)[1]) {
    new_testdata <- rbind(new_testdata,rep(names(testdata),testdata[x,]))
}
rm(x)
new_testdata <- new_testdata[-1,] # Drop first, empty column

现在,我们可以获得常规kappa.

kappa2(ratings=new_testdata)

  Cohen's Kappa for 2 Raters (Weights: unweighted)

  Subjects = 9
  Raters = 2
  Kappa = 0.723

  z = 4.56
  p-value = 5.23e-06

现在,你想拥有一个不同的kappa,其中一个级别的分歧没有被评为问题.那没问题; 基本上,你需要做的是将所有内容转换new_testdata成协议或分歧的二进制表示.在这种情况下,它不应该影响kappa.(但是,如果您的评分者只有两个级别可供选择,那么它将影响kappa;这将人为地限制该值).

首先,让我们创建一个将字母转换为数字的表格.这将使我们的生活更轻松.

convtable <- data.frame(old=c("A","B","C","D","E"),
                        new=c(1,2,3,4,5),
                        stringsAsFactors=FALSE)

现在,我们可以使用它将new_testdata中的值转换为数字表示.

new_testdata$R1 <- convtable$new[match(new_testdata$R1,convtable$old)]
new_testdata$R2 <- convtable$new[match(new_testdata$R2,convtable$old)]

我们可以通过仅取两列之间的差异来轻松检查协议.

new_testdata$diff <- abs(new_testdata$R1-new_testdata$R2)

然后,只需将R1和R2重新编码为1和1,以满足您的协议标准(小于或等于两个评级之间的一个差异级别),否则为1和0(或0和1).

new_testdata[new_testdata$diff<=1,c("R1","R2")] <- c(1,1)
new_testdata[new_testdata$diff>1,c("R1","R2")] <- c(1,0)
new_testdata <- new_testdata[1:2]              # Drop the difference variable

现在,再次运行你的kappa.

kappa2(ratings=new_testdata)

  Cohen's Kappa for 2 Raters (Weights: unweighted)

  Subjects = 9
  Raters = 2
  Kappa = 0

  z = NaN
  p-value = NaN

哇,发生什么事了？好吧,当你使用协议为+/- 1级时,你给我的数据基本上是完全一致的.在对二进制响应变量执行kappa 时可能会出现一些方法问题,如我链接的CrossValidated帖子中所示.如果您的数据不像样本数据那么"统一",那么您应该得到一个真实的kappa值而不是像那个那样的异常零值.但是,这更像是一个方法问题,您可能需要对CrossValidated进行后续跟进.