Jenkins 处理黄瓜中已知错误导致的测试失败

Jenkins 处理黄瓜中已知错误导致的测试失败,jenkins,cucumber,jira,Jenkins,Cucumber,Jira,我们目前使用ruby和cucumber设置。由于已知的错误,测试(端到端回归测试)中有一些步骤失败。开发人员需要一些时间根据他们的工作量和bug严重程度来修复它们。如何最好地处理这些失败的测试 我们是否应该用bug票证号标记它们,并让这些特定的测试在CI上运行时跳过 让他们失败并将构建标记为不稳定,直到开发人员修复他们,他们需要多少天 在cucumber中,除了通过或失败表明其处于受控状态外,是否还有其他方式表明这些特定测试具有不同的状态 我设法找到了一个更好的解决方案来满足进一步在线搜索的需要

我们目前使用ruby和cucumber设置。由于已知的错误,测试(端到端回归测试)中有一些步骤失败。开发人员需要一些时间根据他们的工作量和bug严重程度来修复它们。如何最好地处理这些失败的测试

  • 我们是否应该用bug票证号标记它们,并让这些特定的测试在CI上运行时跳过
  • 让他们失败并将构建标记为不稳定,直到开发人员修复他们,他们需要多少天
  • 在cucumber中,除了通过或失败表明其处于受控状态外,是否还有其他方式表明这些特定测试具有不同的状态

  • 我设法找到了一个更好的解决方案来满足进一步在线搜索的需要。我们可以将测试标记为“挂起”,这样它就不会失败,而是变为黄色并指示挂起

    这样做的好处是,在将来,如果bug被修复,并且步骤不再失败,那么它将表明这一点,这样我们就可以删除挂起状态


    预计挂起的“bug jira-195”将失败。没有出现错误。不再等待?(Cucumber::未决异常)

    我想您应该尽快修复中断的单元测试。更好的是,如果您使用svn钩子或rultor之类的东西,在错误代码进入分支之前提交失败。这样,您就不必为解决这些问题而筹集额外的门票。(我将在与下实现的修复相同的问题下解决)当报告错误以确认错误行为(并在测试中记录预期行为)时,是否正在编写单元测试?如果是这样的话,在解决问题之前不写这些测试会更好吗?对不起,我应该说清楚的。我所指的测试不是单元测试,而是每天在CI中对应用程序运行的端到端回归测试,以确保构建不会失败。其范围是确保没有现有的功能中断。我工作过的一个地方将它们标记为@break,并在CI中排除带有该标记的场景。这也是我计划要做的。但是,如果有大量的测试,则有忽略标记的测试并且从不运行的风险。使用上面的答案会更好,因为您总是可以在报告中看到测试处于挂起状态。此外,如果测试已修复,它将投诉删除挂起状态