我正在为我维护的应用程序开发自动回归测试套件.在开发自动回归测试时,我遇到了一些几乎肯定是错误的行为.因此,就目前而言,我已经修改了自动回归测试,以便不记录失败 - 我的意思是故意允许这种不良行为.
所以,我对本网站上其他人的意见感兴趣.显然,我会在缺陷跟踪中添加一个错误,以确保修复此错误行为.但是,有任何令人信服的理由(无论哪种方式)要么改变回归测试以不断指出失败,要么让回归测试破裂并且在我们能够修复缺陷行为之前没有失败？我认为这是另外一种问题中的一种,但我在这里问,因为我认为其他人可能会看到不同的问题.
@Paul Tomblin,
只是要明确 - 我从未考虑过删除测试; 我只是考虑修改通过/失败条件以允许失败,而不是每次我运行测试时它都被扔到我的脸上.
我有点担心已知原因的重复失败最终会像C++中的警告一样被处理.我知道开发人员在他们的C++代码中看到警告并且忽略它们因为他们认为它们只是无用的噪音.我担心在回归套件中留下已知的失败可能会导致人们开始忽略其他可能更重要的失败.
顺便说一句,以免我被误解,我认为C++中的警告是制作强大代码的重要辅助,但从我见过的其他C++开发人员的判断来看,我认为我处于少数.