Amazon web services AWS Glue java.lang.OutOfMemoryError:java堆空间

Amazon web services AWS Glue java.lang.OutOfMemoryError:java堆空间,amazon-web-services,etl,aws-glue,Amazon Web Services,Etl,Aws Glue,我们正在尝试在ETL过程中使用AWS胶水。运行AWS胶水作业时,由于内存不足错误,进程被终止 LogType:stdout Log Upload Time:Mon Jan 08 20:35:34 +0000 2018 LogLength:129 Log Contents: # # java.lang.OutOfMemoryError: Java heap space # -XX:OnOutOfMemoryError="kill -9 %p" # Executing /bin/sh -c "kil

我们正在尝试在ETL过程中使用AWS胶水。运行AWS胶水作业时,由于内存不足错误,进程被终止

LogType:stdout
Log Upload Time:Mon Jan 08 20:35:34 +0000 2018
LogLength:129
Log Contents:
#
# java.lang.OutOfMemoryError: Java heap space
# -XX:OnOutOfMemoryError="kill -9 %p"
# Executing /bin/sh -c "kill -9 6635"...
End of LogType:stdout
我不确定是否可以在AWS Glue中设置Java堆大小

谢谢,
Harish

这是由于源代码中的循环引用JSON文档造成的。

能否提供有关ETL作业的更多信息?能否提供更多详细信息,如输入大小以及作业使用了多少DPU?嗨,ashutosh和Kalyan,我已经解决了这个问题。问题在于ETL作业中读取的数据的数量。它是一个带有循环引用的json对象。