Fatal编程技术网
  • mapreduce/
  • Mapreduce 主（发送方）节点的Gridgain故障切换

Mapreduce 主（发送方）节点的Gridgain故障切换

mapreduce parallel-processing

Mapreduce 主（发送方）节点的Gridgain故障切换,mapreduce,parallel-processing,grid-computing,gridgain,Mapreduce,Parallel Processing,Grid Computing,Gridgain,我正在处理批处理问题。解决方案需要处理出现故障的硬件 有主节点（启动任务执行）和工作节点（执行作业）。我知道工作节点的故障切换是如何工作的，但我找不到有关主节点故障切换的任何信息。每当启动任务的主节点失败时，整个任务将被取消 那么有没有办法完成任务处理呢 您能推荐实现主节点故障切换的最佳方法吗 亲切问候,， Kuba每当主节点死亡时，基本上没有人执行MapReduce任务的“减少”步骤 有几种方法可以尝试缓解此问题： 使用GridCheckpointSpi（GridTaskSession.sav

我正在处理批处理问题。解决方案需要处理出现故障的硬件

有主节点（启动任务执行）和工作节点（执行作业）。我知道工作节点的故障切换是如何工作的，但我找不到有关主节点故障切换的任何信息。每当启动任务的主节点失败时，整个任务将被取消

那么有没有办法完成任务处理呢

您能推荐实现主节点故障切换的最佳方法吗

亲切问候,，
Kuba

每当主节点死亡时，基本上没有人执行MapReduce任务的“减少”步骤

有几种方法可以尝试缓解此问题：

  • 使用GridCheckpointSpi（GridTaskSession.saveCheckpoint（..）API）保存中间检查点，然后在节点崩溃后重新启动任务时，可以检查是否保存了检查点并从中启动

  • 执行与（1）中相同的操作，但改用数据网格（GridCacheAPI）

  • 如果您不关心“减少”，请让您的作业忽略“取消”调用，并在完成后将结果保存到数据网格中

    • --最好的