Visual studio 2013 MTM 2013 Ranorex CodedUI测试运行中重新排序的测试用例序列

Visual studio 2013 MTM 2013 Ranorex CodedUI测试运行中重新排序的测试用例序列,visual-studio-2013,automated-tests,coded-ui-tests,azure-devops,mtm,Visual Studio 2013,Automated Tests,Coded Ui Tests,Azure Devops,Mtm,我们有一个自动化测试框架,在专用自动化服务器上使用CodedUI、链接Ranorex(5.4.2)、VSO 2013(TFS)和VS 2013。它按MTM中的查询确定的顺序运行测试,该查询按测试用例ID升序排序,直到最近一直运行良好: MTM测试运行日志显示它们正按照正确的测试用例ID升序进行调度。在该图中,您可以看到测试用例ID序列从第9行的测试用例ID 607到第10行的测试用例ID 624: 在上周,我们注意到,尽管查询中测试的顺序没有改变,但在MTM中准备测试运行时,测试被重新排序:

我们有一个自动化测试框架,在专用自动化服务器上使用CodedUI、链接Ranorex(5.4.2)、VSO 2013(TFS)和VS 2013。它按MTM中的查询确定的顺序运行测试,该查询按测试用例ID升序排序,直到最近一直运行良好:

MTM测试运行日志显示它们正按照正确的测试用例ID升序进行调度。在该图中,您可以看到测试用例ID序列从第9行的测试用例ID 607到第10行的测试用例ID 624:

在上周,我们注意到,尽管查询中测试的顺序没有改变,但在MTM中准备测试运行时,测试被重新排序:

在第二幅图中,您可以看到序列从第9行的测试用例ID607更改为第10行的测试用例ID25285。序列继续以一种非常混乱的方式来回跳跃。这给我们带来了一些问题,因为一些后续测试依赖于在早期测试中生成的测试数据,因此在这些数据不可用时失败,因为测试的运行时间早于它应该运行的时间

查询中的测试序列没有任何变化,我们也没有添加任何新的测试,但是我们的开发人员最近已经安装了大约在这开始发生的时候

以前是否有人遇到过此问题,或者是否知道这可能是由于最近的VS更新造成的?我找了又找,但在其他任何网站上都找不到类似的东西

更新 我通过进行少量测试进一步研究了这一点:

在日志第10行的测试运行期间,它们再次失去顺序。第13行包含应在第10行进行的测试:


关于如何解决这个问题,我已经没有什么想法了,因此非常感谢您的帮助。

您如何通过TFS API或使用编码UI获取已排序的测试用例并将其添加到测试运行中?@Eddie,感谢您的回复。测试用例在Ranoex Studio中创建,具有相同标题的测试用例添加到MTM中,测试用例名称添加到VS中的CodedUI测试包装器中。测试包装器还包含创建可提交到Ranorex测试包装器的命令行语句的各种方法。然后,使用VS中的WorkItems函数将测试包装器中的中的CodedUI测试用例链接到MTM测试用例。