带Segue的EMR集群的不确定资源调配

带Segue的EMR集群的不确定资源调配,r,amazon-web-services,mapreduce,R,Amazon Web Services,Mapreduce,我正在尝试使用JD Long的名为Segue的R软件包,我读过一本名为“Parallel R”的书,这本书将R与AWS结合使用称赞为最简单的软件包 然而,连续第二天,我遇到了一个问题,我开始创建集群,它只是无限期地说启动 我在OSX和Linux上用大小分别为2、6、10、20和25的集群进行了尝试。我让他们都跑了至少6个小时。在AWS EMR管理控制台中启动群集没有问题,但我不知道如何将Segue/R连接到在管理控制台中启动的群集,而不是通过createCluster() 因此,我的问题是——是

我正在尝试使用JD Long的名为
Segue
R
软件包,我读过一本名为“Parallel R”的书,这本书将R与AWS结合使用称赞为最简单的软件包

然而,连续第二天,我遇到了一个问题,我开始创建集群,它只是无限期地说
启动

我在OSX和Linux上用大小分别为2、6、10、20和25的集群进行了尝试。我让他们都跑了至少6个小时。在AWS EMR管理控制台中启动群集没有问题,但我不知道如何将
Segue
/
R
连接到在管理控制台中启动的群集,而不是通过
createCluster()

因此,我的问题是——是否有某种方法可以解决集群供应的问题,或者通过手动创建集群并以某种方式让
Segue
来解决这个问题

下面是我看到的一个例子:

图书馆(segue)

加载所需包:rJava

加载所需包:caTools

Segue未找到您的AWS凭据。请运行setCredentials()函数

设置凭证(“xxx”、“xxx”)


emr.handleJason,我是Segue的作者,也许我能帮上忙


请查看AWS控制台下部的详细信息部分,看看是否可以确定引导序列是否已完成。这是一个奇怪的问题,因为在此阶段的错误通常会在所有用户中普遍存在。但是我不能复制这个

我代表AWS支持代表回答我自己的问题,他给了我以下迟到的解释:

EMR创建的问题在于指定的可用性区域(us-east-1c),该可用性区域现在受到限制,不允许创建新实例,因此作业尝试在无限循环中创建实例

您可以在此处查看有关受约束AZ的信息:

“随着可用性区域的不断增长,我们扩展它们的能力可能会受到限制。如果发生这种情况,我们可能会限制您在受约束的可用性区域中启动实例,除非您在该可用性区域中已有实例。最后,我们还可能从新客户的可用性区域列表中删除受约束的可用性区域。因此,您的帐户在一个区域中的可用区域数可能与另一个帐户不同。”

所以您需要指定另一个AZ,或者我建议不要指定任何AZ,这样EMR将能够选择任何可用的AZ

我发现了这个线索:

在Google Groups上,可用性区域的主题以前就出现过。在该线程中设置为新默认的区域是给我造成问题的区域。我正在尝试编辑Segue的源代码

STARTING - 2013-07-12 10:36:44
STARTING - 2013-07-12 10:37:15
STARTING - 2013-07-12 10:37:46
STARTING - 2013-07-12 10:38:17