Apache spark 如何在spark应用程序中验证orc矢量化是否有效?

Apache spark 如何在spark应用程序中验证orc矢量化是否有效?,apache-spark,vectorization,orc,Apache Spark,Vectorization,Orc,我已在spark streaming中启用以下列出的配置 应用程序,但设置这些参数后,我无法推断性能优势, 如果你们中的任何一个人知道验证矢量化是否按expeced/enabled正确工作的方法 注意:我正在使用Spark 2.3并转换应用程序中的所有数据 本机orc格式1.4版本 sparkSqlCtx.setConf("spark.sql.orc.filterPushdown", "true") sparkSqlCtx.setConf("spark.sql.orc.enabled", "t

我已在spark streaming中启用以下列出的配置 应用程序,但设置这些参数后,我无法推断性能优势, 如果你们中的任何一个人知道验证矢量化是否按expeced/enabled正确工作的方法

注意:我正在使用Spark 2.3并转换应用程序中的所有数据 本机orc格式1.4版本

sparkSqlCtx.setConf("spark.sql.orc.filterPushdown", "true") 
sparkSqlCtx.setConf("spark.sql.orc.enabled", "true") 
sparkSqlCtx.setConf("spark.sql.hive.convertMetastoreOrc", "true") 
sparkSqlCtx.setConf("spark.sql.orc.char.enabled", "true") 
sparkSqlCtx.setConf("spark.sql.orc.impl","native") 
sparkSqlCtx.setConf("spark.sql.orc.enableVectorizedReader","true") 

您需要设置如下

spark.sql("set spark.sql.orc.impl=native")
你可以跟我确认一下

spark.sql("set spark.sql.orc.impl").show