Maven 如何将Jmeter回归失败传播到Jenkins Build

我有一个maven项目，它通过JMeter运行一些回归测试用例（不是负载测试）

在这里，我已经设置了这个项目将在詹金斯执行

Maven. 我正在使用jmeter maven插件（v2.0.3）来执行jmeter测试

Jmeter Jmeter 3.0（ApacheJMeter-3.0.jar，通过Jmeter maven插件） 本项目已按照中所述的相同方法建立

詹金斯。 该项目在Jenkins（v1.618）上配置为自由风格项目

当我执行项目时，执行测试gest并生成仪表板。生成完成，生成[INFO]成功

由于Maven构建是成功的，Jenkins总是将构建显示为成功的构建。即使jmetre测试失败，Jenkis也会将构建标记为成功

如何将JMtere回归测试失败传播给Jenkins？

我不需要使用和加载测试报告插件，因为这些不是负载测试，只是回归测试

我的构建日志的相关部分如下所示

[INFO] Error stacktraces are turned on.
[INFO] Scanning for projects...
[INFO]                                                                         
[INFO] ------------------------------------------------------------------------
[INFO] Building TestProj Regression Test Suite 0.1.0-SNAPSHOT
[INFO] ------------------------------------------------------------------------
[INFO] 
[INFO] --- maven-clean-plugin:3.0.0:clean (default-clean) @ TestProj-regression ---
[INFO] Deleting C:\Users\Testuser\Documents\TestProj\TestProj_Regression\target (includes = [**/*.csv, **/*], excludes = [])
[INFO] 
[INFO] --- maven-clean-plugin:3.0.0:clean (Deleting all files under target, but not target itself) @ TestProj-regression ---
[INFO] Deleting C:\Users\Testuser\Documents\TestProj\TestProj_Regression\target (includes = [**/*.csv, **/*], excludes = [])
[INFO] 
[INFO] --- maven-resources-plugin:3.0.1:copy-resources (copy-resources) @ TestProj-regression ---
[WARNING] File encoding has not been set, using platform encoding Cp1252, i.e. build is platform dependent!
[WARNING] Using platform encoding (Cp1252 actually) to copy filtered resources, i.e. build is platform dependent!
[INFO] Copying 11 resources
[INFO] 
[INFO] --- maven-resources-plugin:3.0.1:resources (default-resources) @ TestProj-regression ---
[WARNING] Using platform encoding (Cp1252 actually) to copy filtered resources, i.e. build is platform dependent!
[INFO] skip non existing resourceDirectory C:\Users\Testuser\Documents\TestProj\TestProj_Regression\src\main\resources
[INFO] 
[INFO] --- maven-compiler-plugin:3.1:compile (default-compile) @ TestProj-regression ---
[INFO] No sources to compile
[INFO] 
[INFO] --- maven-resources-plugin:3.0.1:testResources (default-testResources) @ TestProj-regression ---
[WARNING] Using platform encoding (Cp1252 actually) to copy filtered resources, i.e. build is platform dependent!
[INFO] Copying 697 resources
[INFO] 
[INFO] --- maven-compiler-plugin:3.1:testCompile (default-testCompile) @ TestProj-regression ---
[INFO] No sources to compile
[INFO] 
[INFO] --- maven-surefire-plugin:2.12.4:test (default-test) @ TestProj-regression ---
[INFO] 
[INFO] --- maven-jar-plugin:2.4:jar (default-jar) @ TestProj-regression ---
[WARNING] JAR will be empty - no content was marked for inclusion!
[INFO] Building jar: C:\Users\Testuser\Documents\TestProj\TestProj_Regression\target\TestProj-regression-0.1.0-SNAPSHOT.jar
[INFO] 
[INFO] >>> jmeter-maven-plugin:2.0.3:jmeter (execute-jmeter-tests) > :configure @ TestProj-regression >>>
[INFO] 
[INFO] --- jmeter-maven-plugin:2.0.3:configure (configure) @ TestProj-regression ---
[INFO] -------------------------------------------------------
[INFO]  Configuring JMeter...
[INFO] -------------------------------------------------------
[INFO] 
[INFO] <<< jmeter-maven-plugin:2.0.3:jmeter (execute-jmeter-tests) < :configure @ TestProj-regression <<<
[INFO] 
[INFO] --- jmeter-maven-plugin:2.0.3:jmeter (execute-jmeter-tests) @ TestProj-regression ---
[INFO]  
[INFO] -------------------------------------------------------
[INFO]  P E R F O R M A N C E    T E S T S
[INFO] -------------------------------------------------------
[INFO] Invalid value detected for <postTestPauseInSeconds>.  Setting pause to 0...
[INFO]  
[INFO]  
[INFO] Executing test: TestProj_Regression.jmx
[INFO] Writing log file to: C:\Users\Testuser\Documents\TestProj\TestProj_Regression\target\jmeter\logs\TestProj_Regression.jmx.log
[INFO] Creating summariser <summary>
[INFO] Created the tree successfully using C:\Users\Testuser\Documents\TestProj\TestProj_Regression\target\jmeter\testFiles\TestProj_Regression.jmx
[INFO] Starting the test @ Tue Dec 13 17:03:33 AEDT 2016 (1481609013485)
[INFO] Waiting for possible Shutdown/StopTestNow/Heapdump message on port 4445
[INFO] Base Dir root [C:/Users/Testuser/Documents/TestProj/TestProj_Regression/target/jmeter]
[INFO] DEbug line 3
[INFO] envFlag:           [TestEnv1]
[INFO] baseDir:           [C:/Users/Testuser/Documents/TestProj/TestProj_Regression/target/jmeter]
[INFO] dataFilesPath:     [C:/Users/Testuser/Documents/TestProj/TestProj_Regression/target/jmeter/TestProjRegression/DataFiles/TestEnv1]
[INFO] runConfigFilesPath:[C:/Users/Testuser/Documents/TestProj/TestProj_Regression/target/jmeter/TestProjRegression/RunConfig]
[INFO] outputFilesPath:   [C:/Users/Testuser/Documents/TestProj/TestProj_Regression/target/jmeter/TestProjRegression/OutputFiles/TestEnv1]
[INFO] resultsPath:       [C:/Users/Testuser/Documents/TestProj/TestProj_Regression/target/jmeter/TestProjRegression/Results/TestEnv1]
[INFO] Config File [C:/Users/Testuser/Documents/TestProj/TestProj_Regression/target/jmeter/TestProjRegression/RunConfig/RunConfig_TestEnv1.csv]
[INFO].
[INFO].
[INFO].
[INFO].
[INFO].
[INFO] summary +      1 in 00:00:00 =    4.2/s Avg:   149 Min:   149 Max:   149 Err:     0 (0.00%) Active: 1 Started: 1 Finished: 0
[INFO].
[INFO].
[INFO].
[INFO].
[INFO] summary +      1 in 00:00:18 =    0.1/s Avg:  7496 Min:  7496 Max:  7496 Err:     1 (100.00%) Active: 0 Started: 1 Finished: 1
[INFO] summary =      2 in 00:00:18 =    0.1/s Avg:  3822 Min:   149 Max:  7496 Err:     1 (50.00%)
[INFO] Tidying up ...    @ Tue Dec 13 17:03:52 AEDT 2016 (1481609032067)
[INFO] ... end of run
[INFO] Completed Test: TestProj_Regression.jmx
[INFO] 
[INFO] --- maven-antrun-plugin:1.3:run (default) @ TestProj-regression ---
[INFO] Executing tasks
    [mkdir] Created dir: C:\Users\Testuser\Documents\TestProj\TestProj_Regression\target\jmeter\results\dashboard
     [copy] Copying 1 file to C:\Users\Testuser\Documents\TestProj\TestProj_Regression\target\jmeter\bin
     [copy] Copying 696 files to C:\Users\Testuser\Documents\TestProj\TestProj_Regression\target\jmeter\bin\report-template
     [java] Writing log file to: C:\Users\Testuser\Documents\TestProj\TestProj_Regression\jmeter.log
[INFO] Executed tasks
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 01:57 min
[INFO] Finished at: 2016-12-13T17:04:13+11:00
[INFO] Final Memory: 18M/185M
[INFO] ------------------------------------------------------------------------
[INFO] Shutdown detected, destroying JMeter process...

[INFO]错误堆栈跟踪已打开。
[信息]正在扫描项目。。。
[信息]
[信息]------------------------------------------------------------------------
[信息]构建TestProj回归测试套件0.1.0-SNAPSHOT
[信息]------------------------------------------------------------------------
[信息]
[信息]---maven clean插件：3.0.0:clean（默认清洁）@TestProj---
[信息]删除C:\Users\Testuser\Documents\TestProj\TestProj\u Regression\target（包括=[***/*.csv，***/*]，排除=[]））
[信息]
[信息]---maven clean插件：3.0.0:clean（删除目标下的所有文件，但不删除目标本身）@TestProj---
[信息]删除C:\Users\Testuser\Documents\TestProj\TestProj\u Regression\target（包括=[***/*.csv，***/*]，排除=[]））
[信息]
[信息]---maven资源插件：3.0.1:复制资源（复制资源）@TestProj---
[警告]尚未使用平台编码Cp1252设置文件编码，即生成依赖于平台！
[警告]使用平台编码（实际上是Cp1252）复制过滤后的资源，即构建依赖于平台！
[信息]正在复制11个资源
[信息]
[信息]---maven资源插件：3.0.1:resources（默认资源）@TestProj---
[警告]使用平台编码（实际上是Cp1252）复制过滤后的资源，即构建依赖于平台！
[信息]跳过不存在的资源目录C:\Users\Testuser\Documents\TestProj\TestProj\u Regression\src\main\resources
[信息]
[信息]---maven编译器插件：3.1:compile（默认编译）@TestProj---
[信息]没有要编译的源
[信息]
[信息]---maven资源插件：3.0.1:testResources（默认testResources）@TestProj---
[警告]使用平台编码（实际上是Cp1252）复制过滤后的资源，即构建依赖于平台！
[信息]正在复制697个资源
[信息]
[信息]---maven编译器插件：3.1:testCompile（默认testCompile）@TestProj---
[信息]没有要编译的源
[信息]
[信息]---maven surefire插件：2.12.4:test（默认测试）@TestProj---
[信息]
[信息]---maven jar插件：2.4:jar（默认jar）@TestProj---
[警告]JAR将为空-未标记要包含的内容！
[INFO]构建jar:C:\Users\Testuser\Documents\TestProj\TestProj\u Regression\target\TestProj-Regression-0.1.0-SNAPSHOT.jar
[信息]
[信息]>>>jmeter maven插件：2.0.3:jmeter（执行jmeter测试）>：configure@TestProj回归>>>
[信息]
[信息]---jmeter maven插件：2.0.3:配置（configure）@TestProj---
[信息]-------------------------------------------------------
[信息]正在配置JMeter。。。
[信息]-------------------------------------------------------
[信息]
[INFO]最快和最简单的方法是使用，它具有在单个构建或历史结果上定义错误阈值的功能


此外，您的构建仪表板上将有“性能趋势”图表，这样您就能够跟踪（希望如此）应用程序性能的积极动态

另一种方法是使用该工具作为JMeter测试的包装器，而不是Maven，它提供了强大而灵活的子系统，您可以在其中指定故障条件。如果超过了指定的阈值-Taurus将简单地返回非零退出代码，Jenkins足够聪明，可以将其视为步骤失败。
最快和最简单的方法是使用，它可以在单个构建或历史结果上定义错误阈值


此外，您的构建仪表板上将有“性能趋势”图表，这样您就能够跟踪（希望如此）应用程序性能的积极动态

另一种方法是使用该工具作为JMeter测试的包装器，而不是Maven，它提供了强大而灵活的子系统，您可以在其中指定故障条件。如果超过了指定的阈值-Taurus将简单地返回非零退出代码，Jenkins足够聪明，可以将其视为步骤失败。
谢谢@DmitriT，我已经在Jenkins中配置了性能插件。我最终得到了一些我不想要的图表，因为这只是一个回归测试套件，而不是性能套件。谢谢@DmitriT，我已经在Jenkins中配置了性能插件。我最终得到了一些我不想要的图表，因为这只是一个回归测试套件，而不是性能套件。但是我可以接受它们。2.0.3中有一个bug（在2.1.0中修复）可以防止maven构建在运行中出现测试失败时失败。2.0.3中有一个bug（在2.1.0中修复）可以防止maven构建在运行中出现测试失败时失败。