Testing 我使用的测试技术有名字吗?

Testing 我使用的测试技术有名字吗?,testing,diff,automated-tests,Testing,Diff,Automated Tests,在使用传统xUnit风格的方法很难测试的情况下,例如各种转换器、XSLT等,我经常使用基于输出比较的技术。测试程序第一次运行时会产生一些输出。我确保它是正确的,并保存它供以后使用。在以下运行中,程序将新输出与以前保存的输出进行比较,并显示任何差异。之后,我可以修复程序以使输出再次匹配,或者(这很重要!)我可以接受更改,以便更新用于比较的数据 当然,还有其他方面,例如使用不同的预处理进行比较和区分,例如使用规范表示法比较XML,首先解析JSON,使用lisp reader读取s表达式等,而使用漂亮

在使用传统xUnit风格的方法很难测试的情况下,例如各种转换器、XSLT等,我经常使用基于输出比较的技术。测试程序第一次运行时会产生一些输出。我确保它是正确的,并保存它供以后使用。在以下运行中,程序将新输出与以前保存的输出进行比较,并显示任何差异。之后,我可以修复程序以使输出再次匹配,或者(这很重要!)我可以接受更改,以便更新用于比较的数据

当然,还有其他方面,例如使用不同的预处理进行比较和区分,例如使用规范表示法比较XML,首先解析JSON,使用lisp reader读取s表达式等,而使用漂亮的打印表示法进行区分。可以使用某些指定的转换(例如删除部分输出)重新运行比较

对于python,驱动程序使用测试脚本中定义的请求调用WSGI应用程序;对于一些常见的Lisp程序,包括从随机/中断HTML到专有XML格式的转换器;以及线性加速器控制系统,其中控制算法在执行时生成基于s-expr的输出,我都使用了这种技术使用产生一些输出的设备模拟器


问题是,我不知道这种技术的确切名称。我知道它在其他地方也有使用,甚至有一个叫做的测试框架也使用类似的东西。但我从未听说过它的任何具体名称,包括“接受更改”部分。数据驱动测试?看起来不太像。有什么建议吗?

ABT或自适应基线测试。您建立了一个基线,但有一个根据测试结果调整该基线的规定


ABT的问题是我完全编造出来的。我不确定是否有一个更广泛使用的名称,但期待阅读其他答案,看看是否有人知道。

ABT,或自适应基线测试。您建立了一个基线,但有一个根据测试结果调整该基线的规定


ABT的问题是我完全编造出来的。我不确定是否有一个更广泛使用的名称,但期待阅读其他答案,看看是否有人知道。

您所做的是黑盒测试

如果你有一个经过验证的金色副本(“我确保它是正确的,并保存它以备以后使用”),并且在某个时候你决定替换它,那么你需要再次验证它

  • 如果你更换它是因为新的黄金拷贝更好或有更多的信息,那么它只是一个更新
  • 如果您更换它是因为旧的金色副本有故障,那么您以前的验证是不好的,您有一个软件测试问题,您可能需要重新运行可能使用此金色副本的其他测试
  • 如果因为旧副本中的数据不再良好而替换它,那么程序中的某些内容已发生更改,这意味着您有一个更改或修复,或者某些内容使旧黄金副本无效,并要求您验证新副本
在任何情况下,您都应该验证新的黄金副本(“我可能会接受更改,以便更新用于比较的数据”)


不管你处于什么情况,这仍然是一个黑盒测试。您有一个输入,您得到一个输出,您将输出与预期结果进行比较。

您要做的是黑盒测试

如果你有一个经过验证的金色副本(“我确保它是正确的,并保存它以备以后使用”),并且在某个时候你决定替换它,那么你需要再次验证它

  • 如果你更换它是因为新的黄金拷贝更好或有更多的信息,那么它只是一个更新
  • 如果您更换它是因为旧的金色副本有故障,那么您以前的验证是不好的,您有一个软件测试问题,您可能需要重新运行可能使用此金色副本的其他测试
  • 如果因为旧副本中的数据不再良好而替换它,那么程序中的某些内容已发生更改,这意味着您有一个更改或修复,或者某些内容使旧黄金副本无效,并要求您验证新副本
在任何情况下,您都应该验证新的黄金副本(“我可能会接受更改,以便更新用于比较的数据”)


不管你处于什么情况,这仍然是一个黑盒测试。你有一个输入,你得到一个输出,你将输出与预期结果进行比较。

为它命名,写一篇关于它的博客,写一篇文章,维基百科条目和一本关于它的书。你可以在测试会议上到处讨论它。说真的,这就是它的工作原理。为它命名,写博客,写一篇文章,维基百科条目和一本关于它的书。你可以在测试会议上到处讨论它。说真的,这就是它的工作原理。我认为ABT是一个合适的名字。谢谢。我想ABT是个合适的名字。谢谢。据我所知,虽然所描述的技术可能确实是黑盒测试的一个例子,但这个术语本身有更广泛的含义。我想。。。然后,也许你应该试试“黄金副本”、“母版”、“黄金参考”、“地面真相数据库”或类似的术语。你实际上所说的是有一个参考,它是预期结果的已知和认证版本;然后,如果软件发展,可能需要对该参考进行审查和重新认证。据我所知,虽然所描述的技术可能确实是黑盒测试的一个实例,但该术语本身的含义更广泛。我想。。。然后,也许你应该试试“黄金副本”、“母版”、“黄金参考”、“地面真相数据库”或类似的术语。实际上,您所说的是拥有一个已知且经过认证的版本的引用