你在过度测试你的软件吗？

敏捷 持续集成 测试 自动化

摘要

发布候选测试需要花费很长时间，这是许多敏捷团队都面临的一个最大的挑战。但据JavaWorld报道，许多公司都通过持续交付模型消除或极大地减少了发布候选测试，而且它们有一些共性。

正文

发布候选测试需要花费很长时间，这是许多敏捷团队都面临的一个最大的挑战。但据JavaWorld报道，许多公司都通过持续交付模型消除或极大地减少了发布候选测试，而且它们有一些共性：

• 使用测试工具：有许多测试工具可以执行软件，贯穿软件的基本流程。因此，选择恰当的自动化检查工具非常关键，而其目标是降低风险，快速执行，减少手工维护的工作量。
• 将工具钩连到构建系统：等待构建完成再手工执行检查会浪费大量的时间，而在每次构建时自动检查可以消除这种浪费，最好是有一个自动化的检出/构建/部署/测试/推广管道。
• 从根本上消除回归错误：利用减少发布候选测试节省出的时间改进开发实践。
• 开发可单独部署的组件：借助组件，每个变更都是相互隔离的。变更影响范围小，降低了部署风险，使得部署或回滚过程更可控。
• 根据风险划分测试/部署策略：不同的功能可能需要不同的测试策略或过程，高风险、发布频率低的变更可能需要更严格的测试过程。Zappos（Amazon的一个部门）很久之前就采用了这种方式。
• 持续监控生产环境：缺陷代码在生产环境中存在的时间越长造成的损害越大。如果团队可以快速发现并修复缺陷，那么风险将大大降低。
• 自动部署和回滚：通过几次点击就可以实现部署或回顾。
• 配置标识：程序员在编码时将新特性封装在一个if()语句中，然后就可以通过将配置标识设置为“On”或“Off”来启用或关闭特性。感兴趣的读者可以阅读下这篇文章。
• 增量滚动发布：将配置标识与不同的用户关联，就可以实现为不同的客户提供不同的功能。感兴趣的读者可以看下微软的做法。

当然，并不是在任何情况下都可以消除发布候选测试。在某些情况下，需要在测试时间和发布风险之间进行权衡。也就是说，要根据风险制定灵活的发布候选测试策略。

对于JavaWorld的报道，有网友提出了不同的意见。Steve Naidamast认为：

这个消除或减少应用程序的建议跟实际的测试过程一样复杂，甚至更复杂……此外，由于能力的不足或工具的缺陷……，会引入新的问题……

而网友Chris Riley则认为该报道具有误导性：

第一，它没有建议我们减少测试，而只是将测试移到了管道中的不同位置。第二，持续交付并不适合所有人……这看上去是个不错的理想，但可能会误导R&D主管在没有备用计划的情况下错误地削减了QA职位。