Automated tests MsTest noob-如何以正确的方式设置测试基础设施

Automated tests MsTest noob-如何以正确的方式设置测试基础设施,automated-tests,mstest,tfsbuild,coded-ui-tests,server-farm,Automated Tests,Mstest,Tfsbuild,Coded Ui Tests,Server Farm,我们是一家MSFT商店,拥有影响深远的MSDN许可证 在做了很多年的错事之后,我们终于开始做自动化测试了。 我的小组是在这里的豚鼠。我们需要创造以前没有的东西。我们考虑了各种各样的选择。有些人可以通过开源的替代方案,如CC.Net,bambol,MbUnit,等等。我们想给MsTest,CodedUI,团队建设一个很好的尝试。。。也可能是因为MSDN许可和MSFT关注 用MSFT的方式做事的好处和坏处在于,MSFT制造的是整体式的东西。您必须安装各种工具,它们可以很好地相互配合,但不一定要与外部

我们是一家MSFT商店,拥有影响深远的MSDN许可证

在做了很多年的错事之后,我们终于开始做自动化测试了。 我的小组是在这里的豚鼠。我们需要创造以前没有的东西。我们考虑了各种各样的选择。有些人可以通过开源的替代方案,如
CC.Net
bambol
MbUnit
,等等。我们想给
MsTest
CodedUI
团队建设
一个很好的尝试。。。也可能是因为MSDN许可和MSFT关注

用MSFT的方式做事的好处和坏处在于,MSFT制造的是整体式的东西。您必须安装各种工具,它们可以很好地相互配合,但不一定要与外部人员配合。另一个好处是,当事情做得正确时,一切都应该相当顺利。有门控签入、使用TFS存储报告等选项

坦率地说,我对所有的选择都感到困惑。我们的传统构建系统是由一堆perl、批处理脚本和可执行文件组成的,但现在构建团队转向了team build,这应该更干净,但在大多数情况下,它只是旧perl垃圾的包装

我也倾向于把东西拼凑起来进行测试,因为我至少可以看到这些部分是什么。因此,我设想穷人的版本是: *运行测试的专用快速计算机 *一些脚本将生成文件(测试代码和产品代码)复制到该计算机上。 *一个批处理/perl脚本,它将从命令行运行mstest.exe,并在一些测试DLL中的某些按类别过滤器上执行一些测试批处理(该产品非常庞大,我们确实希望按各种类别组织测试)。 *某些脚本将使用psexec.exe从生成服务器远程调用后一个脚本(http://technet.microsoft.com/en-us/sysinternals/bb897553),以及从共享驱动器获取xml输出,然后向感兴趣的人发送一封包含结果的电子邮件

这可能是可行的,但是我不得不担心错误处理在有这么多潜在故障点的情况下能起到多大的作用。最好是以“正确的方式”配置东西,利用MSFT捏造的任何东西。我只是不知道到哪里去找一个好向导。你做过这样的事吗

如果分配的时间不够,我们最终会想要一个测试计算机的农场。另一个值得关注的问题是——要使编码的ui测试成功,我认为用户必须登录,所以我不确定psexec是否会在这里提供很多帮助


你能分享一下你的积极/消极经历吗?也许给我指一个好的向导?谢谢

如果您想开始使用MS工具进行测试,以下是我脑海中的一些提示:

如果您有MSDN订阅,请通过在网络上安装测试控制器和在将要收集诊断数据的每台计算机上安装测试代理服务来安装测试装备。请参阅以下链接以获取参考:

将测试项目添加到解决方案中。请参阅以下博文的第一部分:

可以通过添加测试项目时自动添加的.testsettings文件配置自动测试选项(也可以手动将这些文件添加到解决方案)

安装Team Foundation Server(2010推荐),以便利用日常构建自动化测试。如果您想使用VS2010测试管理器工具来定义测试环境和计划手动测试(这些可以通过CodedUI完全自动化),您还需要TFS 2010。自定义新的自动生成以在生成后设置/部署应用程序,并将生成设置为运行测试。单元测试可能不需要部署,但Web性能和CodedUI测试类型需要部署


如果您拥有VS Ultimate或Test Professional许可证,您还可以更进一步,使用“实验室管理”功能设置虚拟测试实验室。

如果您想开始使用MS工具进行测试,这里有一些提示:

如果您有MSDN订阅,请通过在网络上安装测试控制器和在将要收集诊断数据的每台计算机上安装测试代理服务来安装测试装备。请参阅以下链接以获取参考:

将测试项目添加到解决方案中。请参阅以下博文的第一部分:

可以通过添加测试项目时自动添加的.testsettings文件配置自动测试选项(也可以手动将这些文件添加到解决方案)

安装Team Foundation Server(2010推荐),以便利用日常构建自动化测试。如果您想使用VS2010测试管理器工具来定义测试环境和计划手动测试(这些可以通过CodedUI完全自动化),您还需要TFS 2010。自定义新的自动生成以在生成后设置/部署应用程序,并将生成设置为运行测试。单元测试可能不需要部署,但Web性能和CodedUI测试类型需要部署

如果您拥有VS Ultimate或Test Professional许可证,还可以进一步使用“实验室管理”功能设置虚拟测试实验室