Amazon web services aws GLUE java.lang.OutOfMemoryError:java堆空间#-XX:OnAutofMemoryError="；杀死-9

我知道以前有人问过这个问题，但不幸的是我的问题性质不同

我正在尝试将一个150gb的txt文件转换为拼花地板。我有一个简单的标准脚本在胶水。但不知何故，它总是向mee抛出一个java堆空间错误“java.lang.OutOfMemoryError:java堆空间#-XX:OnAutofMemoryError=“kill-9”

我试过的四件事 -我尝试在dynamicFrame上重新分区

• 我已经调整了spark.DynamicLocation.minExecutors=xxxx

• 我已经调整了spark.Thread.executor.memoryOverhead=xxxx

• 更改dpu数量

但是没有运气

我遇到的另一个问题是，在GLue控制台中，我可以指定作业参数的部分，我只能提供1个spark配置，当我提供多个spark配置时，只接受第一个

---

那么，如何确保我极其简单的spark作业运行时不会出现堆空间错误？

面临同样的问题。这是如何解决的？最后！等待尝试。将很快更新线程。