Amazon web services 如何更改AWS数据管道中运行的配置单元活动的内存设置?

Amazon web services 如何更改AWS数据管道中运行的配置单元活动的内存设置?,amazon-web-services,hadoop,hive,amazon-emr,amazon-data-pipeline,Amazon Web Services,Hadoop,Hive,Amazon Emr,Amazon Data Pipeline,使用AWS数据管道运行一个配置单元活动时,我的配置单元活动失败,出现以下错误: Diagnostics: Container [pid=,containerID=] is running beyond physical memory limits. Current usage: 1.0 GB of 1 GB physical memory used; 2.8 GB of 5 GB virtual memory used. Killing container. 当我运行配置单元活动手动执行的

使用AWS数据管道运行一个
配置单元活动时,我的配置单元活动失败,出现以下错误:

Diagnostics: Container [pid=,containerID=] is running beyond physical memory limits. 
Current usage: 1.0 GB of 1 GB physical memory used;
2.8 GB of 5 GB virtual memory used. Killing container. 
当我运行配置单元活动手动执行的配置单元脚本时,我必须按如下所示执行它:

hive \
-hiveconf tez.am.resource.memory.mb=16000 \
-hiveconf mapreduce.map.memory.mb=10240 \
-hiveconf mapreduce.map.java.opts=-Xmx8192m \
-hiveconf mapreduce.reduce.memory.mb=10240 \
-hiveconf mapreduce.reduce.java.opts=-Xmx8192m \
-hiveconf hive.exec.parallel=true
-f <hive script file path.>
蜂巢\
-hiveconf tez.am.resource.memory.mb=16000\
-hiveconf mapreduce.map.memory.mb=10240\
-hiveconf mapreduce.map.java.opts=-Xmx8192m\
-hiveconf mapreduce.reduce.memory.mb=10240\
-hiveconf mapreduce.reduce.java.opts=-Xmx8192m\
-hiveconf hive.exec.parallel=true
-f
通过这些设置,配置单元脚本可以完美地执行


现在的问题是如何将这些设置传递给AWS数据管道的配置单元活动?我似乎找不到任何方法将
-hiveconf
传递给配置单元活动。

如何在数据管道中调用配置单元脚本?
如果您使用ShellCommandActivity,您应该能够像在命令行上一样传递这些-hiveconf,并且应该运行良好。

ShellCommandActivity可以使用,但我想知道是否有任何方法可以使用HiveActivity本身来实现同样的目标。我知道有点晚了,但您应该能够使用“脚本变量”来完成这项任务数据管道中的选项,还有@DhairyaVerma,我们在2017年面对这一特定问题时无法找到任何解决方案。所以我们最终只使用了ShellCommandActivity。也许在2020年,AWS已经有了一些解决这个问题的方法。