Python unittest可以自动重新尝试失败的测试用例/套件吗？

Question

简短问题
是否可以在故​​障/错误N次或基于预定义功能时重新尝试单元测试.(就像用户的提示)

背景信息
为避免重新输入整页系统信息,请参阅有关将数据传递给unittes和自动测试发现的问题,以获取有关我的物理设置的更多详细信息.

关于手头的问题,我知道我可以通过重新编写我的测试用例来循环,直到它获得所需的结果(参见下面的伪代码),然后基于此断言.但是我宁愿不去重写100个测试用例.

我会有人指出,如果单位测试失败,它应该失败并完成.如果可以删除人为错误,我同意这100%.这是我连接的物理系统,很多时候数字万用表的引线连接不好,并且由于连接松动而可能会失败.

伪解决方案

class Suite_VoltageRegulator(unittest.TestCase):
    def test_voltage_5v_regulator(self):   
        keep_running = 'y'
        error_detected = False

        print '\n'     
        # Display User Test Configuration
        msg = \
            '1) Connect Front DMM GND(black) to the TP_COM\n' +\
            '2) Connect Front DMM POS(red) to the TP-A\n' +\
            '3) Ensure the DMM terminal button indicates FRONT'

        continue_test = prompt.Prompt_Ok_Cancel('User Action Required!', msg)

        if not continue_test:
            self.assertTrue(False, 'User Canceled Test!')

        while(keep_running == 'y'):
            try:
                # Run the test
                results = measure_voltage_from_system() 

                # Analyze Results
                test_status = pf.value_within_range(results, REGULATOR_5V_LOW, REGULATOR_5V_HIGH)

            catch:
                error_detected = True

            # Retest Failed Cards
            if(test_status == False):
                keep_running = rawinput('Test FAILED: Retry Test? (y/n):')
            elif(error_detected == True):
                keep_running = rawinput('Test ERROR: Retry Test? (y/n):')
            else:
                keep_running = 'n'

        # Inform the user on the test results 
        self.assertTrue(test_status,  'FAIL: 5V Regulator (' +str(results)+ ') Out of Range!')

编辑8/22/11 3:30 PM CST
我知道我在这个用例中违反了单元测试的定义.这些问题/评论也在我的一些其他SO问题中得到解决.我们选择的设计目标之一是利用现有框架来避免"重新发明轮子".我们选择python的unittest的事实不是基于它的定义,而是执行和显示一系列测试的灵活性和稳健性.

进入这个项目,我知道会有一些事情需要解决方法,因为这个模块不适合这种用途.在这个时间点,我仍然相信这些变通办法比重写我自己的测试运行员更容易/更便宜.

编辑8/22/11 5:22 PM CST
我并没有以这种方式将unittest用于未来的项目,但我还是坚持使用现有的框架工作来避免重复别人的努力.下面的评论是这个pycopia-QA的一个例子似乎非常适合这个项目.我当前项目的唯一缺点就是我已经编写了数百个单元测试用例,如果我要重写它们,这将是一项非常大的工作(注意它也将是一项非资助的工作)

编辑8/24/11 11:00 AM CST
未来的项目可能很清楚,为这种类型的测试切换到更加量身定制的框架工作.但是我仍然使用unittest运行项目,因此仍然需要仅使用unittest(或nose + 3rd addon)的解决方案.

Answer 1

提出原始问题后的4年-我希望任何人都可以:)这是我在单元测试之上执行此操作的解决方案。这有点丑陋，并且依赖于TestCase基类的实现，但是可以工作。

class MyTest(unittest.TestCase):
    ###
    ### Insert test methods here
    ###

    # Wrapping each test method so that a retry would take place.  
    def run(self, result=None):
        self.origTestMethodName = self._testMethodName
        self._testMethodName = "_testRetryWrapper"
        super(MyTest, self).run(result)
        self._testMethodName = self.origTestMethodName

    def _testRetryWrapper(self):
        testMethod = getattr(self, self.origTestMethodName)
        retryAttemptsLeft = settings.testRetryCount

        while True:
            try:
                testMethod()
                break
            except:
                if retryAttemptsLeft == 0:
                    raise
                else:
                    retryAttemptsLeft = retryAttemptsLeft - 1

Answer 2

Python 单元测试模块用于编写 Python 单元测试。;-) 它不太适合其他类型的测试。该nose包也是一个单元测试框架。

我用 Python 编写了几个旨在测试系统的测试框架。该系统可以是分布式的，并且可以通过各种接口实现自动化。其中两个是开源的。

Pycopia项目是在 Linux 上运行的 Python 模块的集合。它作为命名空间子包的集合提供，其中一个是 QA 包，它是一个测试框架。

它的一个子集被命名为powerdroid，它旨在控制用于进行物理测量（例如电压、电流等）的仪器。RS-232、IEEE-488 等 它为 linux-gpib 项目提供了替代的 Python 接口。

因此，如果您愿意，您可以从这些开始，而不是“重新发明轮子”。您可能不必丢弃现有的测试，因为框架可以调用任何子流程，您可以用它启动现有的测试。这也可以在 Linux 上运行。