Apache spark 如何估计Shark/Spark SQL所需的内存？

当我使用Spark处理大数据时，它会提醒内存不足。隧道挖掘没有任何用处。我猜原始数据太大，无法处理

我的问题是如何估计为Spark分配的内存，或者在给定Spark的特定内存时，Spark可以处理的最大数据量

您的数据大小是多少？ shark/spark SQL使用哪种模式？独立的、纱线的、中观的？首先尝试使用独立模式进行测试。 您的机器环境设置是什么？虚拟机？中央处理器？记忆力 如果您想设置内存，可以在scala代码中进行如下尝试：

val conf = new SparkConf()  
    .setMaster("local")
    .setAppName("Wordcount")
    .set("spark.executor.memory", "4g")
val sc = new SparkContext(conf)

---

有关更多调整信息，请访问。和火花配置供参考

这是一个老问题，现在我已经解决了。原因是我忘了设置参数