Hadoop 在spark上处理大文件的方法

当我在spark群集上处理一个大文件时，内存不足。我知道我可以扩展堆的大小。但在更一般的情况下，我认为这不是一个好方法。我很好奇，将大文件批量拆分为小文件是一个不错的选择。因此，我们可以批量处理小文件而不是大文件。

我也遇到了OOM问题。由于spark使用内存进行计算，所以数据、中间文件等都存储在内存中。我认为缓存或持久化会很有帮助。您可以将存储级别设置为内存和磁盘服务器。

但我也有OOM。另一种方法是使用

spark.default.parallelism