Apache spark 如何在Spark中更快地执行配置单元查询 在TEZ和SPARK中执行配置单元查询 我在tez中运行了10分钟的蜂巢查询 使用hivecontext.sql在spark中执行了相同的查询,耗时13-14分钟 硬件信息
Spark-1.5.2 集束纱(客户端模式) 节点-11,内存-192GB,核心-24 达到 喜欢在spark中执行不到5分钟而不更改我的查询 我的发现 执行器驱动器内存执行器内存核心起始端差 4,6,15,6,17:12:15,17:26:03,0:13:48 4,6,15,10,17:37:55,17:49:24,0:11:29 4,6,7,10,17:53:40,18:07:12,0:13:32 1,6,7,4,21:54:10,22:08:16,0:14:06 1,6,7,6,23:44:15,23:57:25,0:13:10 3,不适用,60,5,11:12:49,11:28:58,0:16:09Apache spark 如何在Spark中更快地执行配置单元查询 在TEZ和SPARK中执行配置单元查询 我在tez中运行了10分钟的蜂巢查询 使用hivecontext.sql在spark中执行了相同的查询,耗时13-14分钟 硬件信息,apache-spark,pyspark,apache-spark-sql,Apache Spark,Pyspark,Apache Spark Sql,Spark-1.5.2 集束纱(客户端模式) 节点-11,内存-192GB,核心-24 达到 喜欢在spark中执行不到5分钟而不更改我的查询 我的发现 执行器驱动器内存执行器内存核心起始端差 4,6,15,6,17:12:15,17:26:03,0:13:48 4,6,15,10,17:37:55,17:49:24,0:11:29 4,6,7,10,17:53:40,18:07:12,0:13:32 1,6,7,4,21:54:10,22:08:16,0:14:06 1,6,7,6,23:44
However I use it it is **not reducing execution time**.
Can please someone let me know how to tune it
这是因为spark 1.5.2没有使用钨发动机。
查看此处的讨论不使用钨4、6、15、10、17:37:55、17:49:24、0:11:29和使用钨4 6 15 10 11:22:38 11:36:34 0:13:56@Sanket_patil