标签: test-reporting

我正在编写一个Pythonic工具,用于验证某个系统的正确性.每个验证都是用Python编写的unittest,报告如下:

test_exclude_list_not_empty (__main__.TestRepoLists)
Assert the the exclude list is not empty ... ok
test_include_list_not_empty (__main__.TestRepoLists)
Assert the the include list is not empty ... ok
test_repo_list_not_empty (__main__.TestRepoLists)
Assert the the repo list is not empty ... ok

在我看来,这种格式很难阅读,特别是对于非Python主义者.是否有任何报告生成器可以以漂亮的表格形式生成报告,例如:

+----------------------------------------------------------------+-----------+
| Test                                                           |  Status   |
+----------------------------------------------------------------+-----------+
| Assert the the exclude list is not empty                       |  OK       |
| Assert the the include list is not empty                       |  OK       |
| Assert the the repo list is not empty …

如何在数据驱动的测试中设置数据行的DisplayName,其中数据源是XML,提供者是Microsoft.VisualStudio.TestTools.DataSource.XML.

XML:

<?xml version="1.0" encoding="utf-8" ?>
<environments>
    <environment><name>IE</name></environment>
    <environment><name>Chrome</name></environment>
</environments>

App配置:

<!-- CONNECTION STRINGS SETTINGS -->
<connectionStrings>
    <add name="IE_Chrome" connectionString="IE_Chrome.xml" providerName="Microsoft.VisualStudio.TestTools.DataSource.XML"/>
</connectionStrings>
<!-- PARAMETERIZING TEST SETTINGS -->
<microsoft.visualstudio.testtools>
    <dataSources>
        <add name="IE_Chrome" connectionString="IE_Chrome" dataTableName="environment" dataAccessMethod="Sequential"/>
    </dataSources>
</microsoft.visualstudio.testtools>

输出:

我想显示环境名称而不是"数据行0".

如何迭代每个不同类型项目的测试结果并将其收集到一个报告中？

示例项目设置:

Root Project
    |
    |- Java Project
    |- test task
    |
    |- Android Library Project (has Build Types)
    |- testDebug task
    |- testRelease task
    |
    |- Android application Project (has Product Flavors and Build Types)
    |- testFreeDebug task
    |- testFreeRelease task
    |- testPaidDebug task
    |- testPaidRelease task

到目前为止我所拥有的:

这将聚合所有项目的所有测试结果:

task aggregateResults(type: Copy) {
    outputs.upToDateWhen { false }
    subprojects { project ->
        from { project*.testResultsDir }
    }
    into { file("$rootDir/$buildDir/results") }
}

task testReport(type: TestReport) {
    outputs.upToDateWhen { false } …

我对这个环境很陌生。我来自原生 iOS 背景。

通过使用此https://blog.gouline.net/code-coverage-on-android-with-jacoco-92ec90c9355e，我成功地JACOCO为我的 android 项目（仅限应用程序模块）中的单元测试类生成了测试报告。

我正在做的是：

1. 我只是jacoco.gradle在主项目中创建文件。
2. 申请自：'../jacoco.gradle'在app/build.gradle文件中

3. 在app/build.gradle文件中添加了以下代码

   android { 
   ... 
       buildTypes { 
           debug { 
               testCoverageEnabled = true 
            } 
           ... 
       } 
   ... 
   }
   

   Run Code Online (Sandbox Code Playgroud)

4. 在 Android Studio 中打开一个终端并运行如下命令

     **gradlew tasks** 
   

   Run Code Online (Sandbox Code Playgroud)

5. 要生成报告，请运行命令

   **gradlew testBlueDebugUnitTestCoverage**
   

   Run Code Online (Sandbox Code Playgroud)

6. 最后我在这条路径上找到了我的报告： \app\build\reports\tests\testTabletDebugUnitTest

通过使用这个http://vgaidarji.me/blog/2017/12/20/how-to-configure-jacoco-for-kotlin-and-java-project/我已经成功地为 Espresso 和 Coverage 生成了 jacoco 报告测试类（UI 和单元测试），该项目还包括 java 和 kotlin 类。

现在我的问题是：我想jacoco从我的应用程序中的所有其他模块中生成特定模块的测试报告。

系统信息：

Windows 10, 
Android Studio 3.3.1, 
Kotlin: ext.kotlin_version = '1.3.21'
Gradle:gradle:3.4.0-alpha01. 

我正在使用mocha测试框架来测试Http rest-api.我想为所有测试用例生成测试报告,但是当我运行mocha --reporter html > report.html
Getting following error时

/usr/local/lib/node_modules/mocha/lib/reporters/html.js:263
  var div = document.createElement('div');
            ^
ReferenceError: document is not defined
    at fragment (/usr/local/lib/node_modules/mocha/lib/reporters/html.js:263:13)
    at new HTML (/usr/local/lib/node_modules/mocha/lib/reporters/html.js:53:14)
    at Mocha.run (/usr/local/lib/node_modules/mocha/lib/mocha.js:459:18)
    at Object.<anonymous> (/usr/local/lib/node_modules/mocha/bin/_mocha:393:18)
    at Module._compile (module.js:456:26)
    at Object.Module._extensions..js (module.js:474:10)
    at Module.load (module.js:356:32)
    at Function.Module._load (module.js:312:12)
    at Function.Module.runMain (module.js:497:10)
    at startup (node.js:119:16)
    at node.js:902:3

我想将玩笑测试的结果输出为JUnit等文件格式，而不从反应脚本中弹出。

通过使用该--json命令，我可以将其输出为 JSON，但我希望获得 Jenkins 默认可以处理的格式。

我似乎找不到这是否受支持，并且我不想从 Create React App 中弹出，还有其他方法吗？

我正在努力实现以下目标：

1. 创建仅包含测试名称和状态（失败/通过）的简单测试报告
2. 通过电子邮件以基本 HTML 形式发送此报告。

为了实现这一目标，我需要：

1. 一个基本的报告器而不是默认的报告器
2. 图书馆，可以发送电子邮件。我已经尝试过了nodemailer。但是，当我将其与赛普拉斯解决方案连接时，它没有发送任何电子邮件。我尝试了不同的邮箱帐户（nodemailer.createTestAccount()，一个来自我公司，一个来自 SendGrid），但这不起作用（我没有收到任何电子邮件）

关于第2点，这是我使用的代码示例。这是index.js 文件中的代码 - 我需要在所有测试后发送它：

after(() => {

var nodemailer = require('nodemailer');
var sgTransport = require('nodemailer-sendgrid-transport');

var options = {
  auth: {
    api_user: 'sendgrid_USER',
    api_key: 'sendgrid_APIKEY'
  }
}

var client = nodemailer.createTransport(sgTransport(options));

var email = {
    from: 'FROM_MAIL.PL',
    to: 'TO_MAIL.PL',
  subject: 'Hello',
  text: 'Hello world',
  html: '<b>Hello world</b>'
};

client.sendMail(email, function(err, info){
    if (err ){
      console.log(error);
    }
    else {
      console.log('Message sent: ' + info.response);
    }
});

});

我最初使用了 Mochaawesome 报告，但无法与 AWS 集成。事实证明，我需要 JUnit XML 报告器才能与代码构建集成。

我已经创建了Junit XML 报告，但我不知道如何将它们合并到一个 xml 文件中，以便可以在 AWS 中使用。

XML 文件已创建（我一直在尝试合并它们）

Cypress.json 文件

"reporter": "cypress-multi-reporters",
    "reporterOptions": {
    "reporterEnabled": "spec, mocha-junit-reporter",
    "mochaJunitReporterReporterOptions": {
    "mochaFile": "cypress/results/results-[hash].xml"
    }

索引.js 文件

"scripts": {
    "delete:reports": "rm cypress/results/* || true",
    "prereport": "delete:reports",
    "report": "cypress run --reporter cypress-multi-reporters --reporter-options mochaFile=cypress/results/results-[hash].xml"
  },
  "dependencies": {
       "cypress-multi-reporters": "^1.4.0",
       "junit-report-merger": "^0.0.6",
       "mocha": "^8.2.1",
       "mocha-junit-reporter": "^2.0.0",
   }

命令行（但它不接受密码，所以我的测试全部失败）

$ yarn report --env password=<password>

我使用SpecFlow与硒的webdriver和SpecRun为测试运行,以创建和执行自动化测试案例,我正在寻找一个解决方案,在插入测试执行报告截图.

我写了一个方法来在每个Assert函数后创建截图.图像保存到特定位置,但是当我进行结果分析时,我必须遵循报告和图像.将它们放在同一位置(恰好在报告html中)会很不错.

有没有办法执行此操作(类似于控制台输出)？

当我在实时应用程序上执行某些场景时，即当应用程序在服务器中运行时，我想获得代码覆盖率报告（或跟踪应用程序的控制器流程），因此我参考了官方Jacoco 文档并按照以下方式执行

第一步，我尝试将 jacoco 代理绑定到应用程序运行端口

export MAVEN_OPTS=-javaagent:/home/user/.m2/repository/org/jacoco/org.jacoco.agent/0.7.4.201502262128/org.jacoco.agent-0.7.4.201502262128-runtime.jar=includes=*,output=tcpserver,port=6300,address=*,dumponexit=true  

然后我启动了服务器并执行了一些测试场景，当时我还请求 jacoco 通过执行以下命令来获取转储

 mvn jacoco:dump

当我首先执行上面的命令时，它显示如下java.net.BindException: Address already in use，然后它打印为休闲

[INFO] Connecting to localhost/127.0.0.1:6300

当我停止服务器时，在我请求通过执行以下命令生成 jacoco 报告后，jacoco.exec已生成到已知位置

mvn jacoco:report

最后我收到了报告，但当我打开 index.html 页面时，它显示了0%覆盖范围。

您可以通过以下示例 Spring MVC 项目重现我的困难

请从 Github下载 Spring MVC 项目https://github.com/mkyong/spring4-mvc-ajax-example

就我而言，我使用 WildFly 8.x 服务器来运行项目并将以下依赖项添加到下载的项目 pom.xml

 maven-surefire-plugin of 2.19.1 version
 jacoco-maven-plugin of 0.7.4.201502262128 version 
 junit of 4.12 version

然后使用以下命令清理并构建项目。

mvn clean install

完成后，从项目的目标文件夹中获取 .war 文件并将其保存在 wildflyserverwildfly-9.0.0.CR2/standalone/deployments/文件夹中

部署 .war 后，转到/wildfly-9.0.0.CR2/bin/文件夹并执行/运行该./standalone.sh文件，或者根据平台，您可以运行该 …