Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark Spark 1.6机架过大17882426381_Apache Spark_Apache Spark Sql - Fatal编程技术网
Fatal编程技术网
  • apache-spark/
  • Apache spark Spark 1.6机架过大17882426381

Apache spark Spark 1.6机架过大17882426381

apache-spark

Apache spark Spark 1.6机架过大17882426381,apache-spark,apache-spark-sql,Apache Spark,Apache Spark Sql,面对太大的帧问题，增加了洗牌分区（从200运行到2001），执行器内存增加到（50G），执行器内存开销增加到20480，但仍然失败 也使用了重新分区，保留技术术语仍然显示相同的错误 数据量：3亿多 您在代码中做了什么？Join？我用4个表进行左连接，并从4个表中选择所需的列-Lamanus

面对太大的帧问题，增加了洗牌分区（从200运行到2001），执行器内存增加到（50G），执行器内存开销增加到20480，但仍然失败

也使用了重新分区，保留技术术语仍然显示相同的错误

数据量：3亿多

您在代码中做了什么？Join？我用4个表进行左连接，并从4个表中选择所需的列-Lamanus