如何让SBT并行运行测试套件？

Question

我有一堆由 sbt 运行的集成测试，给定了 N 个测试套件，每个套件有 1..M 个测试。我已经设置了fork in IntegrationTest := true，但测试套件总是按顺序执行。根据文档，情况不能是这样：测试套件应该同时执行。

测试套件是一个类，如下所示：

class MyTestSuite1 extends FlatSpec with Matchers 
...
it should "do A" {}
it should "do B" {}

class MyTestSuite2 extends FlatSpec with Matchers 
...
it should "do C" {}
it should "do D" {}

问题

MyTestSuite1 和 MyTestSuiteN 按顺序执行（准确地说按字母顺序）

期待

MyTestSuite1 和 MyTestSuiteM 并发执行

环境

.sbots：

-J-Xms1G
-J-Xmx4G
-J-XX:MaxMetaspaceSize=512m
-J-Xss4M

笔记

我注意到所有测试都使用相同的池和线程运行，例如，pool-1-thread-1对于所有测试。

sbt 版本：1.2.8 Scala：2.12.8 操作系统：MacOS 10.15、Ubuntu 19.04 Scalatest 版本：3.2.0-SNAP10

尝试过 sbt v.1.3.2 - 相同的结果。添加

testOptions in IntegrationTest += Tests.Argument(TestFrameworks.ScalaTest, "-P4"),

没有帮助。

===========

更新

fork in(IntegrationTest, test) := true在全球范围内工作，但我有 2 个项目，我想让它能够保留项目的相对路径。

例如

lazy val `p1` = Project(id = "p1", base = file("./p1"))
  .configs(IntegrationTest)
  .settings(Defaults.itSettings: _*)
  .settings(
    fork in(IntegrationTest, test) := true,
    ...)

lazy val `p2` = Project(id = "p2", base = file("./p2"))
  .configs(IntegrationTest)
  .settings(Defaults.itSettings: _*)
  .settings(
    fork in(IntegrationTest, test) := true,
    ...)

不并行运行测试

相反，它是并行运行的，但是，显然，主目录设置为“.”。而不是分别为“./p1”或“./p2”：

fork in(IntegrationTest, test) := true

lazy val `p1` = Project(id = "p1", base = file("./p1"))
  .configs(IntegrationTest)
  .settings(Defaults.itSettings: _*)

Answer 1

解决方案：

似乎有一个testForkedParallel in IntegrationTest := true选项可以完全满足我的需要 - 它为每个测试套件生成新的 JVM。

=============

评论：

所以，唯一的问题是，现在它生成的 JVM 数量与所有可用 CPU 的数量一样多，而且我无法仅测试并发性：

选项 1 - 将所有 sbt 进程集中到只有 4 个并行进程

concurrentRestrictions in Global := Seq(Tags.limitAll(4))

选项 2 - 不执行任何操作（测试在子项目中）

concurrentRestrictions in Global += Tags.limit(Tags.Test, 4),