Pytest 结果 JUnit 风格的 xml 文件测试用例计数

Question

源代码库由多个彼此分离的 Python 库/模块组成。对于它们中的每一个，都存在一组测试，即：

• 模块名为：foo，有几个文件，
• 相应的测试文件test_foo.py，其中有两个使用 Pytest 编写的测试。

运行测试后，我确实得到了一个生成的 XML 文件，其内容类似于以下内容：

<?xml version="1.0" encoding="UTF-8"?>
<testsuites>
  <testsuite name="foo/test_foo" tests="1" failures="0" errors="0">
    <testcase name="foo/test_foo" status="run" duration="9" time="9"></testcase>
    <system-out><![CDATA[============================= test session starts ==============================
platform linux -- Python 3.6.6, pytest-3.10.1, py-1.7.0, pluggy-0.8.0 -- /usr/bin/python3
cachedir: .pytest_cache
rootdir: ..., inifile: pytest.ini
plugins: timeout-1.3.2, mock-1.10.0, cov-2.6.0
timeout: 60.0s
timeout method: thread
timeout func_only: False
collecting ... collected 2 items

::test_foo_test1
-------------------------------- live log setup --------------------------------
# ... some logging performed in the test...
PASSED                                                                   [ 50%]
::test_foo_test2
-------------------------------- live log call ---------------------------------
# ... some logging performed in the test...
PASSED                                                                   [100%]

=========================== 2 passed in 6.63 seconds ===========================]]></system-out>
  </testsuite>
</testsuites>

（注：未对齐的部分被system-out标记封装）

我的pytest.ini文件相当简单，仅包含有关日志记录 ( log_cli*、log_file*) 和timeout. 我使用 bazel 作为定义py_test作业的构建系统，我的假设是它以某种方式隐式添加默认输出设置。然而，即使直接运行，这也应该类似地工作。

现在，我想处理一堆这样的 XML 文件并提取测试运行的总数、错误等。示例显示的问题是 XML 文件声称测试计数为tests="1"，而标准输出来自日志显示至少收集了两项。

在我看来，该格式将整个文件计为测试用例，而不是在文件中收集的实际测试用例。

Python 中是否有任何简单的方法可以使测试套件包含 的计数collected items？

Answer 1

您是否使用 --junitxml=something.xml 标志？ https://docs.pytest.org/en/latest/usage.html#creating-junitxml-format-files

当我使用 --junitxml 标志并且生成的输出包含正确数量的测试时。我的猜测是 bazel 是生成 xml 输出的那个，而不是 pytest，并且它将整个 pytest 运行视为一个测试。

我认为这可能需要成为 bazel 标记的问题，因为它实际上是“如何让 bazel 读取额外的 xml 文件？”，然后使用 --junitxml 生成您自己的 xml。

还有一件事。如果您的 xml 文件因所有捕获的输出而变得巨大，我建议执行以下操作：

1. 使用 -s 运行以不捕获输出
2. 如果您需要会话日志，请将整个内容运行为“pytest -s --junitxml=out.xml [其他标志、测试目录、文件等] > out.txt”

然后，您还需要存档 out.txt，但这可以防止 xml 变得过大。