jru*_*cci 7 algorithm math scoring
我试图确定一个测验对象的"困难".
我的最终目标是能够为任何测验创建"难度分数"(DS).这将允许我准确地比较一个测验与另一个测验,尽管由不同的问题/答案组成.
在创建我的测验对象时,我为每个问题分配一个"难度指数"(DI),这是一个1-15的数字.
15 =最困难
1 =最不困难
现在衡量这个"难度得分"的一种直接的方法可能是将每个问题的"难度指数"加起来然后除以测验的最大可能"难度指数".(例如16/30 = 53.3%难度)
但是,我还有多个与每个问题相关的"加权"属性.这些重量也是1-5的等级.
5 =影响最大
1 =影响最小
我有(2)而不是更常见的(1)的原因是我可以容纳如下的场景......
如果向学生提出一个非常困难的问题(DI = 15)并且学生回答"不正确",那么不要让他们的分数受到如此大的伤害,但如果他们得到"正确",那么它会大大提高他们的分数.我将这些称为"正"(PW)和"负"(NW)权重.
测验示例A:
问题1:DI = 1 | PW = 3 | NW = 3
问题2:DI = 1 | PW = 3 | NW = 3
问题3:DI = 1 | PW = 3 | NW = 3
问题4:DI = 15 | PW = 5 | NW = 1
测验例B:
问题1:DI = 1 | PW = 3 | NW = 3
问题2:DI = 1 | PW = 3 | NW = 3
问题3:DI = 1 | PW = 3 | NW = 3
问题4:DI = 15 | PW = 1 | NW = 5
从技术上讲,上述两个测验非常相似但是测验B应该更"难",因为如果你弄错了,最难的问题会对你的分数产生最大的影响.
我现在的问题是,在考虑复杂的加权系统时,如何准确地确定"难度分数"？
任何帮助是极大的赞赏!
当然，挑战在于确定每个问题的难度分数。
我建议使用以下模型：
难度 (H)：定义一个难题，使得正确回答的机会较低。最难的问题是这样的：（1）正确回答它的机会等于随机选择（因为它本质上非常困难），并且（2）它具有最大数量的可能答案。我们将这样的问题定义为 (H = 15)。在天平的另一端，我们将为一个问题定义 (H = 0)，其中正确回答的机会为 100%（因为它是微不足道的）（我知道 - 这样的问题永远不会出现）。现在 - 通过主观推断来定义每个问题的难度（请记住，人们总是可以在给定的选项之间进行猜测）。例如，如果一个 (H = 15) 问题有 4 个答案，而另一个具有相似固有硬度的问题有 2 个答案 - 则为 (H = 7.5)。另一个例子：如果您认为普通学生有 62.5% 的正确答案 - 这也将是一个 (H = 7.5) 问题（这是因为 H = 15 有 25% 的正确答案，而 H = 0 有100%。平均为62.5%)
效果（E）：现在，我们将测量 PW 和 NW 的效果。对于正确回答概率为 50% 的问题 - 效果为 E = 0.5*PW - 0.5*NW。对于正确回答概率为 25% 的问题 - 效果为 E = 0.25*PW - 0.75*NW。对于小问题，NW 并不重要，因此效果是 E = PW。
难度（DI）：最后一步是将难度和效果结合起来——称之为难度。我建议DI = H - c*E，其中 c 是某个正常数。您可能想再次正常化。
编辑：或者，您可以尝试以下公式：DI = H * (1 - c*E)，其中效果大小不是绝对的，而是相对于问题的难度。
澄清：
教师只需估计每个问题的一个参数：普通学生正确回答该问题的概率是多少。他的估计e将在 [1/k, 1] 范围内，其中k是答案的数量。
硬度H是 e 的线性函数，1/k 映射为 15，1 映射为 0。该函数为：H = 15 * k / (k-1) * (1-e)
效果E取决于 e、PW 和 NW。公式为E = e*PW - (1-e)*NW
基于OP评论的示例：
问题一：
k = 4，e = 0.25（最难）。因此H = 15
PW = 1，NW = 5，e = 0.25。因此 E = 0.25*1 - 0.75*5 = -3.5
c = 5。DI = 15 - 5*(-3.5) = 32.5
问题2：
k = 4，e = 0.95（非常简单）。因此H = 1
PW = 1，NW = 5，e = 0.95。因此 E = 0.95*1 - 0.05*5 = 0.7
c = 5。DI = 1 - 5*(0.7) = -2.5