Warning: file_get_contents(/data/phpspider/zhask/data//catemap/5/tfs/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Selenium 使用TFS以正确顺序运行自动测试时出现问题_Selenium_Tfs_Automation - Fatal编程技术网

Selenium 使用TFS以正确顺序运行自动测试时出现问题

Selenium 使用TFS以正确顺序运行自动测试时出现问题,selenium,tfs,automation,Selenium,Tfs,Automation,我正在使用TFS Web门户为自动化测试创建测试套件,从VisualStudio测试项目中,我可以将任何[test Method]关联到任何TFS测试用例。然后可以从TFS运行测试 正如您在下面看到的,我的测试套件有一些设置测试,然后是一些实际测试。我有一个测试方法,它设置了一个文件夹,在那里我的测试套件将裁剪它的屏幕截图,然后启动我要测试的应用程序并登录。然后我做了一个测试,将屏幕截图前缀设置为需求编号1581(因为这是被测试的需求),然后我对需求2062和2061重复这个步骤 问题是这些测试

我正在使用TFS Web门户为自动化测试创建测试套件,从VisualStudio测试项目中,我可以将任何[test Method]关联到任何TFS测试用例。然后可以从TFS运行测试

正如您在下面看到的,我的测试套件有一些设置测试,然后是一些实际测试。我有一个测试方法,它设置了一个文件夹,在那里我的测试套件将裁剪它的屏幕截图,然后启动我要测试的应用程序并登录。然后我做了一个测试,将屏幕截图前缀设置为需求编号1581(因为这是被测试的需求),然后我对需求2062和2061重复这个步骤

问题是这些测试的运行顺序错误

我知道有序测试,我知道我可以简单地将所有这些放在一个有序测试中并运行它。事实上,我使用了有序测试,我自己和团队中的另一名测试人员安装了VisualStudio,并且具备使用有序测试的技能。团队其他成员(手动测试人员和管理人员)的要求是,我需要将测试拆分(如下所示)

当我创建下面的测试套件时,我认为一切都正常。我可以运行前5个测试。受此启发,我在9个测试套件中添加了最后4个测试。但一切都开始失败了

现在,当我运行所有9个测试时,第4个测试(工作正常)失败了,因为TFS以错误的顺序运行它。我知道这一点,因为我的测试都会创建一个或多个屏幕截图。这些截图工作正常,但创建顺序错误

我知道很多人会告诉我使用有序测试,他们会告诉我每个测试都应该是独立的。我之所以偏离这一点,是因为我有4000个测试来验证3000个需求。如果我想测试一个成员记录是否可以具有属性X、Y和Z,那么这就是3个要求。我想要1个设置测试(启动应用程序,登录,创建基本记录)。然后我需要1个测试X工作,1个测试Y工作,1个测试Z工作。我有3个要求,所以我需要至少3个测试。如果每个测试都重复所有设置(启动应用程序、登录并创建基本记录),那么我的测试套件将永远无法运行,并且很快就会变得太慢

我还希望将这些测试拆分,因为没有编程技能和visual studio经验的手动测试人员将查看我的测试套件,找到失败的测试并手动重新测试。如果我的测试套件在TFS中都有一个测试,他们将不知道出了什么问题。如果我在一个测试套件中有9个测试,但有1个失败,那么他们将知道手动重新测试什么


最后,我看到了与Microsoft测试管理器相关的类似问题。这不是一个重复的问题,MTM不再受支持,所以我使用Web门户(如图所示)。我还看到了与Visual Studio 2010等相关的问题。我使用的是Visual Studio 2019,因此它不是一个副本,VS发生了很大变化。

如果每个测试都重复所有设置(启动应用程序、登录并创建基本记录),那么我的测试套件将永远无法运行,并且很快就会变得太慢。是的,这是UI测试的一个基本问题,这也是十多年来业界远离大型UI测试套件的众多原因之一。丹尼尔·曼,是的,我同意。我在VisualStudio中编写(并执行)了大约50个测试。我只是想让这些测试从TFS运行,以便通过测试(从而通过链接的需求)。我真的不想关闭应用程序并启动它,登录并在每次测试之间设置测试。这在VS中还行,只是希望TFS可以做类似的事情。