Apache spark 如何将Spark temp目录指向EMR中的其他文件系统

在核心机器中的EMR spark群集中，我的EBS卷大小为128GB。我的Spark程序出现“设备上没有剩余空间”错误。因此，我希望在EMR中将spark使用的临时目录指向不同的文件系统“/dev/xvdb2”。我该怎么做

下面是我的一台核心机器的输出

Filesystem      Size  Used Avail Use% Mounted on
devtmpfs         34G   78k   34G   1% /dev
tmpfs            34G     0   34G   0% /dev/shm
/dev/xvda1       11G  4.3G  6.1G  42% /
/dev/xvdb1      5.4G   35M  5.4G   1% /emr
/dev/xvdb2      133G   12G  121G   9% /mnt

---

尝试在您的

spark/conf/spark env.sh

中添加类似的内容：

导出SPARK\u LOCAL\u DIRS=/opt/SPARK/tmp

可能重复的