Apache spark 如何在spark应用程序中验证orc矢量化是否有效?
我已在spark streaming中启用以下列出的配置 应用程序,但设置这些参数后,我无法推断性能优势, 如果你们中的任何一个人知道验证矢量化是否按expeced/enabled正确工作的方法 注意:我正在使用Spark 2.3并转换应用程序中的所有数据 本机orc格式1.4版本Apache spark 如何在spark应用程序中验证orc矢量化是否有效?,apache-spark,vectorization,orc,Apache Spark,Vectorization,Orc,我已在spark streaming中启用以下列出的配置 应用程序,但设置这些参数后,我无法推断性能优势, 如果你们中的任何一个人知道验证矢量化是否按expeced/enabled正确工作的方法 注意:我正在使用Spark 2.3并转换应用程序中的所有数据 本机orc格式1.4版本 sparkSqlCtx.setConf("spark.sql.orc.filterPushdown", "true") sparkSqlCtx.setConf("spark.sql.orc.enabled", "t
sparkSqlCtx.setConf("spark.sql.orc.filterPushdown", "true")
sparkSqlCtx.setConf("spark.sql.orc.enabled", "true")
sparkSqlCtx.setConf("spark.sql.hive.convertMetastoreOrc", "true")
sparkSqlCtx.setConf("spark.sql.orc.char.enabled", "true")
sparkSqlCtx.setConf("spark.sql.orc.impl","native")
sparkSqlCtx.setConf("spark.sql.orc.enableVectorizedReader","true")
您需要设置如下
spark.sql("set spark.sql.orc.impl=native")
你可以跟我确认一下
spark.sql("set spark.sql.orc.impl").show