那些遇到过的问题

是否可以使用 #if NET6_0_OR_GREATER 从 BenchmarkDotNet 运行中排除基准测试方法？

Mat*_*son 6 c# multitargeting benchmarkdotnet

假设您正在编写一些与 BenchmarkDotNet 一起使用的基准测试，这些基准测试多目标为net48和net6.0，并且这些基准测试之一只能针对该net6.0目标进行编译。

显而易见的事情是使用类似的方法从构建中排除该特定基准net48：

#if NET6_0_OR_GREATER

[Benchmark]
public void UsingSpan()
{
    using var stream = new MemoryStream();
    writeUsingSpan(stream, _array);
}

static void writeUsingSpan(Stream output, double[] array)
{
    var span  = array.AsSpan();
    var bytes = MemoryMarshal.AsBytes(span);

    output.Write(bytes);
}

#endif // NET6_0_OR_GREATER
Run Code Online (Sandbox Code Playgroud)

不幸的是，这不起作用，并且它不起作用的方式取决于TargetFrameworks项目文件中的属性中指定的目标的顺序。

如果您订购框架，那么net6.0首先<TargetFrameworks>net6.0;net48</TargetFrameworks>（在上面的示例中）该UsingSpan()方法将包含在两个目标中，导致目标net48和输出出现 BenchmarkDotNet 构建错误，如下所示：

|            Method |                Job |            Runtime |       Mean |     Error |    StdDev |
|------------------ |------------------- |------------------- |-----------:|----------:|----------:|
| UsingBitConverter |           .NET 6.0 |           .NET 6.0 | 325.587 us | 2.0160 us | 1.8858 us |
|      UsingMarshal |           .NET 6.0 |           .NET 6.0 | 505.784 us | 4.3719 us | 4.0894 us |
|         UsingSpan |           .NET 6.0 |           .NET 6.0 |   4.942 us | 0.0543 us | 0.0482 us |
| UsingBitConverter | .NET Framework 4.8 | .NET Framework 4.8 |         NA |        NA |        NA |
|      UsingMarshal | .NET Framework 4.8 | .NET Framework 4.8 |         NA |        NA |        NA |
|         UsingSpan | .NET Framework 4.8 | .NET Framework 4.8 |         NA |        NA |        NA |
Run Code Online (Sandbox Code Playgroud)

另一方面，如果您对框架进行排序，则net48首先是<TargetFrameworks>net48;net6.0</TargetFrameworks>then （在上面的示例中），该UsingSpan()方法将被排除在两个目标之外，结果输出如下：

|            Method |                Job |            Runtime |     Mean |    Error |   StdDev |
|------------------ |------------------- |------------------- |---------:|---------:|---------:|
| UsingBitConverter |           .NET 6.0 |           .NET 6.0 | 343.1 us |  6.51 us | 11.57 us |
|      UsingMarshal |           .NET 6.0 |           .NET 6.0 | 539.5 us | 10.77 us | 22.94 us |
| UsingBitConverter | .NET Framework 4.8 | .NET Framework 4.8 | 331.2 us |  5.43 us |  5.08 us |
|      UsingMarshal | .NET Framework 4.8 | .NET Framework 4.8 | 588.9 us | 11.18 us | 10.98 us |
Run Code Online (Sandbox Code Playgroud)

我必须通过单一目标项目并编辑项目文件以分别针对框架，然后为每个目标单独运行基准测试来解决此问题。

有没有办法让它在多目标项目中发挥作用？

为了完整起见，这里有一个完整的可编译测试应用程序来演示该问题。我正在使用 Visual Studio 2022。

项目文件：

<PropertyGroup>
  <OutputType>Exe</OutputType>
  <TargetFrameworks>net48;net6.0</TargetFrameworks>
  <ImplicitUsings>enable</ImplicitUsings>
  <LangVersion>latest</LangVersion>
  <Nullable>enable</Nullable>
</PropertyGroup>

<ItemGroup>
  <PackageReference Include="BenchmarkDotNet" Version="0.13.1" />
</ItemGroup>
Run Code Online (Sandbox Code Playgroud)

“Program.cs”文件：

using System.Runtime.InteropServices;
using BenchmarkDotNet.Attributes;
using BenchmarkDotNet.Jobs;
using BenchmarkDotNet.Running;

namespace Benchmark;

public static class Program
{
    public static void Main()
    {
        BenchmarkRunner.Run<UnderTest>();
    }
}

[SimpleJob(RuntimeMoniker.Net48)]
[SimpleJob(RuntimeMoniker.Net60)]
public class UnderTest
{
    [Benchmark]
    public void UsingBitConverter()
    {
        using var stream = new MemoryStream();
        writeUsingBitConverter(stream, _array);
    }

    static void writeUsingBitConverter(Stream output, double[] array)
    {
        foreach (var sample in array)
        {
            output.Write(BitConverter.GetBytes(sample), 0, sizeof(double));
        }
    }

    [Benchmark]
    public void UsingMarshal()
    {
        using var stream = new MemoryStream();
        writeUsingMarshal(stream, _array);
    }

    static void writeUsingMarshal(Stream output, double[] array)
    {
        const int SIZE_BYTES = sizeof(double);

        byte[] buffer = new byte[SIZE_BYTES];
        IntPtr ptr    = Marshal.AllocHGlobal(SIZE_BYTES);

        foreach (var sample in array)
        {
            Marshal.StructureToPtr(sample, ptr, true);
            Marshal.Copy(ptr, buffer, 0, SIZE_BYTES);
            output.Write(buffer, 0, SIZE_BYTES);
        }

        Marshal.FreeHGlobal(ptr);
    }

    #if NET6_0_OR_GREATER

    [Benchmark]
    public void UsingSpan()
    {
        using var stream = new MemoryStream();
        writeUsingSpan(stream, _array);
    }

    static void writeUsingSpan(Stream output, double[] array)
    {
        var span  = array.AsSpan();
        var bytes = MemoryMarshal.AsBytes(span);

        output.Write(bytes);
    }

    #endif // NET6_0_OR_GREATER

    readonly double[] _array = new double[10_000];
}
Run Code Online (Sandbox Code Playgroud)

Dav*_*idG 5

根据记忆，Benchmark.NET 将使用一些内部魔法为所有框架运行基准测试。因此，与其使用现有的预处理器符号，不如将测试分成具有不同RuntimeMoniker属性的两个类。例如：

[SimpleJob(RuntimeMoniker.Net48)]
public class UnderTestNet48
{
    // Benchmarks
}

[SimpleJob(RuntimeMoniker.Net60)]
public class UnderTestNet60
{
    // Benchmarks
}
Run Code Online (Sandbox Code Playgroud)

现在您需要修改运行基准测试的代码，因为它们是跨类拆分的，如下所示：

public static void Main()
{
    var config = DefaultConfig.Instance.
        .WithOptions(ConfigOptions.JoinSummary)
        .WithOptions(ConfigOptions.DisableLogFile);

    BenchmarkRunner.Run(typeof(Program).Assembly, config);
}
Run Code Online (Sandbox Code Playgroud)

[OP（马修·沃森）编辑]

感谢这个答案，我成功地实现了这个。

net48我通过将通用测试方法放入受保护的基类中，然后提供两个派生类 - 一个用于基准测试，另一个用于基准测试，设法减少了代码重复net5.0。

这是我最终得到的代码：

using System.Runtime.InteropServices;
using BenchmarkDotNet.Attributes;
using BenchmarkDotNet.Configs;
using BenchmarkDotNet.Jobs;
using BenchmarkDotNet.Running;

namespace Benchmark;

public static class Program
{
    public static void Main()
    {
        BenchmarkRunner.Run(
            typeof(Program).Assembly, 
            DefaultConfig.Instance
               .WithOptions(ConfigOptions.JoinSummary)
               .WithOptions(ConfigOptions.DisableLogFile));
    }
}

public abstract class UnderTestBase
{
    protected static Stream CreateStream()
    {
        return new MemoryStream(); // Or Stream.Null
    }

    protected void WriteUsingBitConverter(Stream output, double[] array)
    {
        foreach (var sample in array)
        {
            output.Write(BitConverter.GetBytes(sample), 0, sizeof(double));
        }
    }

    protected void WriteUsingMarshal(Stream output, double[] array)
    {
        const int SIZE_BYTES = sizeof(double);

        byte[] buffer = new byte[SIZE_BYTES];
        IntPtr ptr    = Marshal.AllocHGlobal(SIZE_BYTES);

        foreach (var sample in array)
        {
            Marshal.StructureToPtr(sample, ptr, true);
            Marshal.Copy(ptr, buffer, 0, SIZE_BYTES);
            output.Write(buffer, 0, SIZE_BYTES);
        }

        Marshal.FreeHGlobal(ptr);
    }

    #if NET6_0_OR_GREATER
    
    protected void WriteUsingSpan(Stream output, double[] array)
    {
        var span  = array.AsSpan();
        var bytes = MemoryMarshal.AsBytes(span);

        output.Write(bytes);
    }

    #endif // NET6_0_OR_GREATER

    protected readonly double[] Array = new double[100_000];
}

[SimpleJob(RuntimeMoniker.Net48)]
public class UnderTestNet48: UnderTestBase
{
    [Benchmark]
    public void UsingBitConverter()
    {
        using var stream = CreateStream();
        WriteUsingBitConverter(stream, Array);
    }

    [Benchmark]
    public void UsingMarshal()
    {
        using var stream = CreateStream();
        WriteUsingMarshal(stream, Array);
    }
}

[SimpleJob(RuntimeMoniker.Net60)]
public class UnderTestNet60: UnderTestBase
{
    [Benchmark]
    public void UsingBitConverter()
    {
        using var stream = CreateStream();
        WriteUsingBitConverter(stream, Array);
    }

    [Benchmark]
    public void UsingMarshal()
    {
        using var stream = CreateStream();
        WriteUsingMarshal(stream, Array);
    }

    #if NET6_0_OR_GREATER

    [Benchmark]
    public void UsingSpan()
    {
        using var stream = CreateStream();
        WriteUsingSpan(stream, Array);
    }

    #endif // NET6_0_OR_GREATER
}
Run Code Online (Sandbox Code Playgroud)

其结果是这样的输出：

|           Type |            Method |                Job |            Runtime |       Mean |     Error |    StdDev |
|--------------- |------------------ |------------------- |------------------- |-----------:|----------:|----------:|
| UnderTestNet60 | UsingBitConverter |           .NET 6.0 |           .NET 6.0 | 4,110.8 us |  81.53 us | 151.13 us |
| UnderTestNet60 |      UsingMarshal |           .NET 6.0 |           .NET 6.0 | 5,774.0 us | 114.78 us | 194.90 us |
| UnderTestNet60 |         UsingSpan |           .NET 6.0 |           .NET 6.0 |   521.6 us |   5.13 us |   4.80 us |
| UnderTestNet48 | UsingBitConverter | .NET Framework 4.8 | .NET Framework 4.8 | 2,987.2 us |  35.60 us |  29.73 us |
| UnderTestNet48 |      UsingMarshal | .NET Framework 4.8 | .NET Framework 4.8 | 5,616.9 us |  57.85 us |  48.30 us |
Run Code Online (Sandbox Code Playgroud)

（顺便说一句，一个有趣的结果是，与 相比，该UsingBitConverter()方法实际上似乎运行得更快- 尽管与 提供的速度的巨大改进相比，这相形见绌。）net48net6.0Span<T>

[/OP 编辑​​（马修·沃森）]

归档时间：

查看次数：

2223 次

最近记录：

4 年 前
MsBuild 15中的每条TargetFramework条件 8
更多相关链接
相关归档
如何检查C#中的数字是正数还是负数？ 204
C#:提升继承的事件 139
服务引用错误:无法为服务引用生成代码 130
在MatchCollection上使用Linq扩展方法语法 83
在构建期间检查剃刀错误 65
如何在不同的CPU内核上生成线程？ 58
在C#中使用存储过程输出参数 56
在xml序列化期间忽略属性,但在反序列化期间不忽略 49
检查号码是否为素数 40
如何在MVC应用程序中使用JWT进行身份验证和授权？ 40
难疑归档
可以在JSON中使用注释吗？ 7104
For-each在JavaScript中的数组？ 4448
Docker与虚拟机有何不同？ 3523
如何在Python中获取当前时间 2618
有没有办法在Android上运行Python？ 2097
JavaScript等效于printf/String.Format 1874
从C#中的枚举中获取int值 1698
CSS calc()函数中的Sass变量 1182
如何查看仅一个用户提交的git日志？ 1178
获取Android上的当前时间和日期 1058