TFS 2015 更新 1:如何发布测试结果 (trx) 并在 testfailures 上使构建失败
TFS 2015 Update 1: How to publish test results (trx) and fail the build on testfailures
我 运行 我们在 WebUI 上的基于硒的单元测试 different mechanism 比 TFS 2015(更新 1)中的 resular 构建步骤。这样做会生成一个 .trx 文件,我试图将其上传回 TFS,以便在构建概览中提供结果。
构建步骤 运行 如果任何测试失败,单元测试可能会导致构建失败,但我不会在 TFS 中看到任何测试结果。我可以通过在步骤中检查 'continue on error' 来跳过失败。
接下来,我可以包括一个步骤 'Publish Test Results',它将获取生成的 trx 文件,结果将在构建中可见。
但知道构建不会失败!
知道如何使构建失败并获得可用的测试结果吗?
我检查过:
- vstest.console.exe(无法从文件发布测试结果)
- MSTest(需要Enterprise/Premium license,我们有 MSDN Professional)。
必须有更好的方法。在我看来,构建步骤 'Publish Test Results' 应该能够检查文件并使构建失败?
我使用 "Command Line" 任务在构建期间调用 "ParallelTestRunner.exe" 到 运行 测试。
有了这个,如果测试在没有选中 "Continue on error" 选项的情况下失败,构建将在这一步停止,"Publish Test Results" 步骤不会 运行 这看起来与行为相同你得到。如果测试失败并选中 "Continue on error" 选项,测试步骤将标记为 "Passed" 并且 "Publish Test Results" 步骤将 运行 发布测试结果。但是我的最终构建状态不是"Success",而是"Build Partially succeeded"。
但是,如果您希望测试步骤失败但仍然 运行 "Publish Test Results" 步骤,您可以取消选中测试步骤的 "Continue on error" 选项并选中 "Always run" "Publish Test Results" 步骤的选项。这将确保 "Publish Test Results" 步骤始终 运行 即使之前的步骤失败。
顺便说一句,"Publish Test Results"步骤只发布测试结果,不检查结果。构建 passed/failed 基于构建定义中所有构建步骤的执行状态。
我 运行 我们在 WebUI 上的基于硒的单元测试 different mechanism 比 TFS 2015(更新 1)中的 resular 构建步骤。这样做会生成一个 .trx 文件,我试图将其上传回 TFS,以便在构建概览中提供结果。
构建步骤 运行 如果任何测试失败,单元测试可能会导致构建失败,但我不会在 TFS 中看到任何测试结果。我可以通过在步骤中检查 'continue on error' 来跳过失败。
接下来,我可以包括一个步骤 'Publish Test Results',它将获取生成的 trx 文件,结果将在构建中可见。
但知道构建不会失败!
知道如何使构建失败并获得可用的测试结果吗?
我检查过:
- vstest.console.exe(无法从文件发布测试结果)
- MSTest(需要Enterprise/Premium license,我们有 MSDN Professional)。
必须有更好的方法。在我看来,构建步骤 'Publish Test Results' 应该能够检查文件并使构建失败?
我使用 "Command Line" 任务在构建期间调用 "ParallelTestRunner.exe" 到 运行 测试。
有了这个,如果测试在没有选中 "Continue on error" 选项的情况下失败,构建将在这一步停止,"Publish Test Results" 步骤不会 运行 这看起来与行为相同你得到。如果测试失败并选中 "Continue on error" 选项,测试步骤将标记为 "Passed" 并且 "Publish Test Results" 步骤将 运行 发布测试结果。但是我的最终构建状态不是"Success",而是"Build Partially succeeded"。
但是,如果您希望测试步骤失败但仍然 运行 "Publish Test Results" 步骤,您可以取消选中测试步骤的 "Continue on error" 选项并选中 "Always run" "Publish Test Results" 步骤的选项。这将确保 "Publish Test Results" 步骤始终 运行 即使之前的步骤失败。
顺便说一句,"Publish Test Results"步骤只发布测试结果,不检查结果。构建 passed/failed 基于构建定义中所有构建步骤的执行状态。