Automated tests 您如何处理在开发过程中预期失败的单元/回归测试？
在软件开发过程中，代码库中可能存在已知问题的bug。如果测试写得很好，这些bug将导致回归/单元测试失败 在我们的团队中，关于如何管理失败的测试一直存在争议：Automated tests 您如何处理在开发过程中预期失败的单元/回归测试？,automated-tests,Automated Tests,在软件开发过程中，代码库中可能存在已知问题的bug。如果测试写得很好，这些bug将导致回归/单元测试失败 在我们的团队中，关于如何管理失败的测试一直存在争议： 用重访或TODO注释注释掉失败的测试用例 优点：我们总是知道何时引入了新的缺陷，而不是我们已经意识到的缺陷 缺点：可能忘记重新查看已注释掉的测试用例，这意味着缺陷可能会从裂缝中滑出 让测试用例失败 优点：不会忘记修复缺陷，因为脚本失败会不断提醒您存在缺陷 缺点：由于故障噪音，在引入新缺陷时很难检测到 我想探讨一下这方面的最佳实践是
- 优点：我们总是知道何时引入了新的缺陷，而不是我们已经意识到的缺陷
- 缺点：可能忘记重新查看已注释掉的测试用例，这意味着缺陷可能会从裂缝中滑出
- 优点：不会忘记修复缺陷，因为脚本失败会不断提醒您存在缺陷
- 缺点：由于故障噪音，在引入新缺陷时很难检测到
- 通过率：75%
- 失败百分比（预期）：20%
- 失败百分比（意外）：5%
是否有人有任何管理此测试的最佳实践？我倾向于将这些保留在中，并带有一个属性（此属性正在使用）-测试在测试运行输出中提到，因此它是可见的，希望这意味着我们不会忘记它。考虑在“忽略”消息中添加问题/票证ID。这样，当潜在的问题被认为已经成熟时，它就会得到解决——立即修复失败的测试是很好的，但有时小错误必须等到时机成熟
我考虑过这个属性，它的优点是可以在不重新编译的情况下运行，但它不带“reason”参数，并且在我们运行的NUnit版本中，测试不会在输出中显示为unrun。我将保留您的测试用例。根据我的经验，用类似
// TODO: fix test case
// HAHA: you'll never revisit me
我想我的建议是，还有另一种选择，那就是修复您的测试用例立即发现的bug。不这样做可能有实际的原因，但从长远来看，现在养成这样的习惯可能更有益。我们做了以下工作：在测试中设置层次结构 示例：您必须测试3件事情
- 测试登录（登录、检索用户名、获取“上次登录日期”或熟悉的信息等）
- 测试数据库检索（搜索给定的“Schnitzelmitkartofelsalat”标记，搜索最新标记）
- 测试web服务（连接、获取版本号、检索简单数据、检索详细数据、更改数据）
3. Connect to a web service
...
3.1. Get the version number
...
3.2. Data:
3.2.1. Get the version number
3.2.2. Retrieve simple data
3.2.3. Retrieve detailed data
3.2.4. Change data
这有助于澄清问题，并明确首先要做什么。我认为您需要一个TODO观察器，从代码库中生成“TODO”注释。TODO是您的测试元数据。它位于已知故障消息前面一行，很容易关联
TODO's很好。使用它们。通过定期实际将它们放入待办事项列表中来积极管理它们。我通常使用Perl和Perl的测试：：*模块允许插入TODO块：
TODO: {
local $TODO = "This has not been implemented yet."
# Tests expected to fail go here
}