Continuous integration 是否有工具跟踪CI或CD流程中的手动步骤?

Continuous integration 是否有工具跟踪CI或CD流程中的手动步骤?,continuous-integration,build-process,continuous-deployment,azure-devops,devops,Continuous Integration,Build Process,Continuous Deployment,Azure Devops,Devops,我正在寻找某种工具,我可以将其集成到我们的CI流程中,以跟踪我们的手动步骤 例如,我们希望在将版本推送到测试服务器之前,在集成服务器上运行一些手动测试脚本。目前,QA在构建完成时收到一个通知,执行手动测试,然后告诉某人推送版本进行测试,如果可以的话 我想找到的是能够跟踪手动测试何时成功完成并自动推送版本进行测试的东西 应该可以从Visual Studio Online通知/触发该工具,并让它在VSO中触发下一步 我一直在谷歌上搜索各种不同的东西,但似乎找不到任何接近我所寻找的东西。像Asana这

我正在寻找某种工具,我可以将其集成到我们的CI流程中,以跟踪我们的手动步骤

例如,我们希望在将版本推送到测试服务器之前,在集成服务器上运行一些手动测试脚本。目前,QA在构建完成时收到一个通知,执行手动测试,然后告诉某人推送版本进行测试,如果可以的话

我想找到的是能够跟踪手动测试何时成功完成并自动推送版本进行测试的东西

应该可以从Visual Studio Online通知/触发该工具,并让它在VSO中触发下一步

我一直在谷歌上搜索各种不同的东西,但似乎找不到任何接近我所寻找的东西。像Asana这样的待办事项列表工具似乎没有我们需要的集成点,但也许我只是缺少了一些东西

您可以在VSTS中尝试使用该工具。它可以实现您想要的部分功能

我假设在构建定义中有三个步骤:

  • 构建解决方案
  • 发布到集成服务器
  • 发布到测试服务器

  • 您可以保留生成定义中的前两个步骤。然后在发布管理中创建发布定义,并在其中添加第三个步骤。将定义配置为“连续部署”,并将其链接到生成定义。将您的QA指定为此发布任务的审批人。现在,一旦构建任务完成,就会创建一个发布任务。但它将等待审批人(您的QA)批准。批准发布任务测试通过后,生成将发布到测试服务器。否则,拒绝它。

    您可以将新的发布管理工具与测试用例结合使用,以获得您想要的

    在VST中,您可以创建测试用例以反映所需测试的步骤,然后创建测试计划或测试套件以反映需要手动运行的测试列表

    然后,作为发布过程的一部分,您可以创建一个自定义任务,等待针对您的列表完成测试运行。如果该测试运行已全部通过,则进入下一步,如果任何测试失败,则发布失败


    这应该是相当容易设置的,您需要调用API来检查测试运行。如果您的测试人员使用Microsoft测试管理器,您还可以获得与正在部署的构建相关联的结果,并获得完全的可跟踪性。

    您不能自动运行这些任务吗?为什么需要有人手动启动脚本?对不起,它们不是代码中的脚本,而是手动测试场景。现在的主要问题是通过用户界面上传一个文件,等待处理,看看结果是否正确。第一步是给我们带来问题,最后的验证可能总是需要人工完成“现在的主要问题是通过UI上传一个文件,等待处理并查看结果是否正确。”->有没有原因不能通过API上传它?没有,但前端有逻辑(单页应用程序)我们要检查:)我们有处理大部分API的单元和集成测试,但前端的测试很少,这就是为什么我们需要在将其放到测试环境之前运行一组手动测试的原因。如果有足够的时间,我们可能会将整个过程自动化,但目前没有足够的资源来实现这一点。这听起来似乎是可行的。可能缺少的一件事是实际跟踪QA所做的步骤。我们目前使用TestRails,所以也许有一种方法可以从TestRails触发VSO中的批准?不,现在还没有任何方法可以做到这一点。Eddie,你可以用VST来实现@Hinsh先生谢谢您的提醒:)。我的意思是我找不到触发TestRails批准的方法。谢谢@MrHinsh。我认为这取决于我们所有的测试都在VST中?我们已经看过了,但似乎找不到如何连接。我们所有的测试套件都在TestRails中,而故事/bug都在Jira中,因此将所有内容移动到VSO可能需要更大的努力才能避免手动过程:)