pde*_*aan 18 statistics performance
我不确定这是不是一个合适的地方,但它似乎是一个体面的地方.
我目前的工作涉及对大数据集的人工分析(在几个层面上,每个层次都由经验丰富的分析师完善和完成).大约一年前,我开始开发一些实用程序来跟踪分析师的表现,将早期级别的结果与最终级别进行比较.起初,这非常有效 - 我们在店内使用它作为一个简单的指标,有助于集中培训工作,并在整体上做得更好.
最近,结果已脱离背景并以我从未想过的方式使用.似乎管理层(特别是一个人)已经开始使用这些工具的结果来直接影响EPR(入伍的绩效报告 - 它是一个空军的东西,但我假设在其他领域存在类似的东西)和类似的文书工作.问题不在于谁在使用这些结果,而是如何使用这些结果.我已经向大家明确表示,结果非常简单,容易出错.
生成这些数据有许多不可避免的障碍,我已经努力通过一些漂亮的启发式方法来最小化这些数据.在适当的背景下,它们是一个有用的工具.然而,脱离背景,因为它们现在被使用,它们弊大于利.
有问题的经理将结果作为分析师表现良好或表现不佳的字面指标.结果被平均,并且个人得分被排列为上述(好)或低于(差)平均值.这是在不考虑固有的误差范围和样本偏差的情况下完成的,不考虑任何形式的正确解释.我知道至少有一个人的绩效评级被标记为"准确率百分比"低于平均值不到一个百分点(当计算方法的典型误差率仅为2%到3%时).
我正在编写关于系统中存在的错误的正式报告(包括"有意义的统计分析初学者指南"),但所有迹象都表明这没有效果.
如果没有故意破坏这些工具(我希望避开这条路线,但在这种情况下我正在强烈考虑),我想知道这里是否有人有效处理过类似的情况？任何洞察如何处理这一点将不胜感激.
更新:感谢您的回复 - 周围有很多好主意.
如果有人好奇,我正朝着"精炼,教育和控制解释"的方向前进.我已经开始重建我的工具,试图更好地否定或跟踪错误,并自动生成他们可能想要的任何数字和图形,包括整个文档(同时隐藏为模糊引用他们目前看起来非常渴望导入的原始数据'神奇的'excel表).
特别是,我希望错误的可视化表示和正确创建的排名系统(考虑到错误,标准偏差等)将有助于这种情况.
不幸的是,一旦猫被淘汰,就很难重新投入.你有几个选择(顺便说一下,这些选项并不相互排斥),包括:
显然,管理层希望对分析师的绩效进行分析.可能真的需要这个......而且你的报告恰好填补了现有信息的空白.每个人的最佳选择是找到一种有效和公平地满足这种需求的方法.有许多可能的方法可以实现这一目标 - 从有利于性能层的密集排名到使用时间差异方差来优化性能测量.
现在,您提供的现有报告完全有可能无法以公平和准确的方式应用以解决此问题.在这种情况下,您应该与您的管理团队合作,以确保他们理解为什么会这样 - 并重新定义绩效的衡量方式或花时间制定适当和公平的方法.
说服管理层他们(ab)使用报告中的数据是不明智的最强有力的手段之一是提醒他们不正当奖励的概念.完全有可能的是,随着时间的推移,分析师将以一种方式修改他们的行为,从而导致绩效报告中的更高排名,但代价是实际绩效或未以其他方式捕获或表达的结果质量.您似乎对您的域名有了很好的理解 - 所以我希望您可以提供具体和戏剧性的例子来说明这些后果,以帮助您制定案例.