Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/amazon-web-services/12.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Amazon web services AWS EMR中的任务节点是否从核心节点复制数据?_Amazon Web Services_Mapreduce_Emr_Amazon Emr - Fatal编程技术网

Amazon web services AWS EMR中的任务节点是否从核心节点复制数据?

Amazon web services AWS EMR中的任务节点是否从核心节点复制数据?,amazon-web-services,mapreduce,emr,amazon-emr,Amazon Web Services,Mapreduce,Emr,Amazon Emr,我试图理解mapreduce的几个关键概念,特别是当它涉及AWS EMR时。假设对于所有这些,我使用的是外部配置单元元存储(RDS) 我的问题如下 因为EMR有一个任务节点的概念(它处理数据,但不保存我所理解的持久数据)。是否将数据从HDFS(从核心节点)复制到任务节点以进行处理并将最终结果发送回核心节点。我想我有点困惑,因为mapredue是关于将“代码”移动到数据要处理的地方。由于任务节点上没有任何数据,它在处理什么(直到和除非它像我前面提到的那样复制数据进行处理?) 当我的所有数据都放在

我试图理解mapreduce的几个关键概念,特别是当它涉及AWS EMR时。假设对于所有这些,我使用的是外部配置单元元存储(RDS)

我的问题如下

  • 因为EMR有一个任务节点的概念(它处理数据,但不保存我所理解的持久数据)。是否将数据从HDFS(从核心节点)复制到任务节点以进行处理并将最终结果发送回核心节点。我想我有点困惑,因为mapredue是关于将“代码”移动到数据要处理的地方。由于任务节点上没有任何数据,它在处理什么(直到和除非它像我前面提到的那样复制数据进行处理?)

  • 当我的所有数据都放在S3中时,这是如何工作的?同样,由于“代码移动到数据”这一事实,这一点也很困惑……当我的数据放在S3中时,它是否将其复制到核心节点进行处理并将其放回S3中

  • 如果假设我的所有数据都在S3中,那么使用s3distcp将数据复制到HDFS进行处理是更有效,还是将配置单元表指向S3存储桶位置更好