Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 如何在Spark中更快地执行配置单元查询 在TEZ和SPARK中执行配置单元查询 我在tez中运行了10分钟的蜂巢查询 使用hivecontext.sql在spark中执行了相同的查询,耗时13-14分钟 硬件信息_Apache Spark_Pyspark_Apache Spark Sql - Fatal编程技术网

Apache spark 如何在Spark中更快地执行配置单元查询 在TEZ和SPARK中执行配置单元查询 我在tez中运行了10分钟的蜂巢查询 使用hivecontext.sql在spark中执行了相同的查询,耗时13-14分钟 硬件信息

Apache spark 如何在Spark中更快地执行配置单元查询 在TEZ和SPARK中执行配置单元查询 我在tez中运行了10分钟的蜂巢查询 使用hivecontext.sql在spark中执行了相同的查询,耗时13-14分钟 硬件信息,apache-spark,pyspark,apache-spark-sql,Apache Spark,Pyspark,Apache Spark Sql,Spark-1.5.2 集束纱(客户端模式) 节点-11,内存-192GB,核心-24 达到 喜欢在spark中执行不到5分钟而不更改我的查询 我的发现 执行器驱动器内存执行器内存核心起始端差 4,6,15,6,17:12:15,17:26:03,0:13:48 4,6,15,10,17:37:55,17:49:24,0:11:29 4,6,7,10,17:53:40,18:07:12,0:13:32 1,6,7,4,21:54:10,22:08:16,0:14:06 1,6,7,6,23:44

Spark-1.5.2

集束纱(客户端模式)

节点-11,内存-192GB,核心-24

达到 喜欢在spark中执行不到5分钟而不更改我的查询

我的发现 执行器驱动器内存执行器内存核心起始端差

4,6,15,6,17:12:15,17:26:03,0:13:48

4,6,15,10,17:37:55,17:49:24,0:11:29

4,6,7,10,17:53:40,18:07:12,0:13:32

1,6,7,4,21:54:10,22:08:16,0:14:06

1,6,7,6,23:44:15,23:57:25,0:13:10

3,不适用,60,5,11:12:49,11:28:58,0:16:09

However I use it it is **not reducing execution time**.
Can please someone let me know how to tune it

这是因为spark 1.5.2没有使用钨发动机。
查看此处的讨论

不使用钨4、6、15、10、17:37:55、17:49:24、0:11:29和使用钨4 6 15 10 11:22:38 11:36:34 0:13:56@Sanket_patil