Amazon web services 如何重新启动AWS数据管道

Amazon web services 如何重新启动AWS数据管道,amazon-web-services,amazon-data-pipeline,Amazon Web Services,Amazon Data Pipeline,我有一个计划的AWS数据管道,在执行过程中中途失败。我修复了这个问题,没有以任何方式修改管道(更改了S3中的脚本)。然而,似乎没有好的方法从一开始就重新启动管道 我尝试停用/重新激活管道,但之前“完成”的节点没有重新启动。这是意料之中的;根据,这只是暂停和取消暂停管道的执行,这不是我们想要的 我尝试分别重新运行其中一个节点(称之为x),但它不考虑依赖关系:没有任何节点x依赖于重新运行,依赖于x的节点也不依赖于重新运行 我尝试从过去的某个时间激活它,但收到错误:startTimestamp应该晚于

我有一个计划的AWS数据管道,在执行过程中中途失败。我修复了这个问题,没有以任何方式修改管道(更改了S3中的脚本)。然而,似乎没有好的方法从一开始就重新启动管道

我尝试停用/重新激活管道,但之前“完成”的节点没有重新启动。这是意料之中的;根据,这只是暂停和取消暂停管道的执行,这不是我们想要的

我尝试分别重新运行其中一个节点(称之为
x
),但它不考虑依赖关系:没有任何节点
x
依赖于重新运行,依赖于
x
的节点也不依赖于重新运行

我尝试从过去的某个时间激活它,但收到错误:
startTimestamp应该晚于管道中的任何计划StartDateTime(服务:DataPipeline;状态代码:400;错误代码:InvalidRequestException;请求ID:)


我宁愿不更改
计划
节点,因为我希望管道继续尊重它;我只需要这一次手动执行。如何从一开始就重新启动管道一次?

ActivatePiline API有一个startTimestamp参数,您可以使用该参数从以前的任何时间间隔重新启动执行。请参见

到目前为止,我发现实现这一点的最佳方法是克隆管道,按需创建(而不是按计划)并激活该管道。这条新管道将立即激活并运行。然而,这似乎很麻烦;我很高兴听到更好的方法。

这对我来说并不奏效。当我选择Actions->Activate并选择上一个时间时,我得到错误:
startTimestamp应该晚于管道中的任何计划StartDateTime(服务:DataPipeline;状态代码:400;错误代码:InvalidRequestException;请求ID:)
。另一方面,当我“从现在”激活它时,不会发生错误,但管道也不会运行。我将把这个添加到问题中。您的管道定义在schedule对象中有一个startDateTime,它定义了最早的执行。activate API的startTimestamp参数不能早于startDatetime,即您只能重新运行以前已运行的日期。如果您想回到过去处理管道从未运行过的日期的数据,很遗憾,您必须克隆管道并创建一个新的管道。我发现大多数情况下也是如此。失败的管道执行,即使设置为“按需”,重新运行也是非常挑剔的。通常在尝试了一个小时都没有用之后,我最终克隆了它。自从这篇文章发表以来,差不多三年过去了,这个问题仍然是AWS数据管道中的一个问题。。。