如何让xUnit运行一个Theory并行？

Question

我有一个测试(理论),它很慢,有一堆测试用例.所以我希望他们同时运行.

我创建了一个简单的例子:

[Theory]
[MyTestData]
public void MyTheory(int num, int sleep)
{
    Console.WriteLine("{0:HH:mm:ss.ffff} - Starting {1} - Sleeping {2}", DateTime.Now, num, sleep);
    Thread.Sleep(sleep);
    Console.WriteLine("{0:HH:mm:ss.ffff} - Finished {1} - Sleeping {2}", DateTime.Now, num, sleep);
}

[AttributeUsage(AttributeTargets.Method)]
public class MyTestDataAttribute : DataAttribute
{
    public override IEnumerable<object[]> GetData(MethodInfo testMethod)
    {
        yield return new object[2] { 1, 5000 };
        yield return new object[2] { 2, 2000 };
        yield return new object[2] { 3, 4000 };
    }
}

运行测试的命令行:

"\packages\xunit.runner.console.2.0.0\tools\xunit.console" "\Projects\xUnitTest\xUnitTest\bin\Debug\xUnitTest.dll" -parallel all > xUnitResult.txt

结果如下:

xUnit.net console test runner(64-bit.NET 4.0.30319.42000)
Copyright(C) 2015 Outercurve Foundation.

Discovering: xUnitTest
Discovered:  xUnitTest
Starting:    xUnitTest
21:55:39.0449 - Starting 2 - Sleeping 2000
21:55:41.0627 - Finished 2 - Sleeping 2000
21:55:41.0783 - Starting 1 - Sleeping 5000
21:55:46.0892 - Finished 1 - Sleeping 5000
21:55:46.0892 - Starting 3 - Sleeping 4000
21:55:50.0989 - Finished 3 - Sleeping 4000
Finished:    xUnitTest

=== TEST EXECUTION SUMMARY ===
   xUnitTest Total: 3, Errors: 0, Failed: 0, Skipped: 0, Time: 11,137s

这是相当连续的.我敢肯定有可能让它平行.

Answer 1

从xUnit 2.1开始,目前无法实现这一点.根据并行化文档,

默认情况下,每个测试类都是一个唯一的测试集合.同一测试类中的测试不会相互并行运行.

文档没有明确说明的是:

• xUnit中最小的"可并行化"单元是一个集合
• 同一个类中的测试无法在不同的集合中进行

通过扩展,不可能有并行化理论,因为理论不能分为多个类.

在您的情况下,这意味着您至少有两个选项:

• 重构您正在测试的代码,以便抽出大量时间.例如,假设您必须运行一些业务逻辑,然后进行数据库调用.如果您可以将可测试业务逻辑分成另一个类,则可以针对该类运行理论(不是并行,但是在<1 ms内),并分别测试慢速数据访问代码.

• 如果您的测试用例足够少,只需为每个测试用例创建一个新类,Fact而不是使用Theory.您甚至可以将它们全部放在一个文件中.它更冗长,你失去了使用理论的"酷"因素,但你会得到并行执行.

Answer 2

尽管xUnit不可能直接实现，但是如果需要，您可以解决该问题。有缺点，例如您必须通过类手动定义并行执行的次数，因此，如果要在两个线程上并行化它，则需要创建两个类。

public abstract class ParellelTheoryBase
{
    public static List<int> testValues = new List<int> {1, 2, 3, 4, 5, 6};
}

public class ParallelTheory_1of2 : ParellelTheoryBase
{
    public static List<object[]> theoryData = testValues.Where((data, index) => index % 2 == 0).Select(data => new object[] { data }).ToList();

    [Theory]
    [MemberData(nameof(theoryData))]
    public void DoSomeLongRunningAddition(int data)
    {
        Assert.True(data < 7);
        Thread.Sleep(5000);
    }
}

public class ParallelTheory_2of2 : ParellelTheoryBase
{
    public static List<object[]> theoryData = testValues.Where((data, index) => index % 2 == 1).Select(data => new object[] { data }).ToList();

    [Theory]
    [MemberData(nameof(theoryData))]
    public void DoSomeLongRunningAddition(int data)
    {
        Assert.True(data < 7);
        Thread.Sleep(5000);
    }
}

在此示例中，我在中定义了属性ParellelTheoryBase，该属性是实际测试类的基类。然后，ParallelTheory_1of2以及ParallelTheory_2of2从该类继承有机会获得的testValues。现在，Theory将其theoryData用于测试执行，并且它仅从列表中选择奇数或偶数（index % 2 == 1或index % 2 == 0）数据。

它在Visual Studio测试资源管理器中被拾取：

并并行运行：

[xUnit.net 00:00:00.3397963]   Starting
[xUnit.net 00:00:15.5696617]   Finished

这可能是一种解决方案，其中不容易事先知道您有多少测试数据。例如，我在集成测试文件解析器时使用了该解析器，其中输入是目录中的任何文件，新添加的文件将自动用于测试。

在您的示例中，我认为您可以轻松地修改MyTestData属性以接受totalCountParallels和的参数currentIndex。