Apache spark pyspark作业的性能问题

我使用pyspark/spark sql执行非常简单的任务。数据大小非常小，最高为215MB。90%的数据源大小小于15 MB。我们进行过滤、处理和数据聚合，90%的数据的结果数据小于5MB。只有两个数据结果是120MB和260MB。 主要的热点是合并（1）操作，因为我们只需要生成一个文件。我可以理解120MB和260MBgziped文件的生成和编写需要时间。但是生成和写入小于5MB的文件应该很快。当我监视作业时，我可以看到合并和保存数据文件占用了很多时间。我不明白为什么生成和写入2-3MB文件需要60-70秒

配置： 我已经通过fat执行器实现了一些性能提升，每个执行器有3个vCore。我使用1个主3个工作集群和4个核心节点

问候

---

Manish Zope是一个分布式处理引擎。节点、作业和最终任务的协调需要相当长的时间。如果要处理215MB的数据，Spark不是合适的工具。您可以使用pandas或普通python来实现这一点。Spark是一个分布式处理引擎。节点、作业和最终任务的协调需要相当长的时间。如果要处理215MB的数据，Spark不是合适的工具。你可以用熊猫或者普通的蟒蛇。