处理由于黄瓜中的已知错误而导致的失败测试
Handling failing tests due to known bugs in cucumber
我们目前使用 ruby 和黄瓜设置。由于已知错误，有些步骤在测试（端到端回归测试）中失败。开发人员需要一些时间根据他们的工作量和错误严重程度来修复它们。如何最好地处理这些失败的测试？
- 我们是否应该用错误票号标记它们，并让那些特定的测试在 CI 上运行时跳过？
- 让它们失败并将构建标记为不稳定，直到开发人员修复它们需要多少天？
- 在 Cucumber 中是否有任何其他方式来表示这些特定测试具有不同的状态，而不是通过或未能表明其在控制之下？
在网上进一步搜索后，我设法找到了一个更好的解决方案来满足这种需求。我们可以将测试标记为 "pending" 这样它就不会失败但会变黄并指示待处理。
https://phabricator.wikimedia.org/T58243
这样做的好处是，如果错误在未来得到修复并且该步骤不再失败，它会对此进行指示，以便我们可以删除挂起状态。
预期挂起 'bug jira-195' 失败。没有出现错误。不再悬而未决？ （黄瓜::未决异常）
我们目前使用 ruby 和黄瓜设置。由于已知错误，有些步骤在测试（端到端回归测试）中失败。开发人员需要一些时间根据他们的工作量和错误严重程度来修复它们。如何最好地处理这些失败的测试？
- 我们是否应该用错误票号标记它们，并让那些特定的测试在 CI 上运行时跳过？
- 让它们失败并将构建标记为不稳定，直到开发人员修复它们需要多少天？
- 在 Cucumber 中是否有任何其他方式来表示这些特定测试具有不同的状态，而不是通过或未能表明其在控制之下？
在网上进一步搜索后，我设法找到了一个更好的解决方案来满足这种需求。我们可以将测试标记为 "pending" 这样它就不会失败但会变黄并指示待处理。
https://phabricator.wikimedia.org/T58243
这样做的好处是，如果错误在未来得到修复并且该步骤不再失败，它会对此进行指示，以便我们可以删除挂起状态。
预期挂起 'bug jira-195' 失败。没有出现错误。不再悬而未决？ （黄瓜::未决异常）