在foreach中为.combine构建函数

我有一个我想并行执行的过程，但由于一些原因我失败了。现在我正在考虑合并，并在主CPU上计算失败的任务。但是我不知道如何为.combine编写这样的函数

应该怎样写

我知道如何编写它们，例如，answer提供了一个示例，但它没有提供如何处理失败的任务，也没有在主机上重复任务

我会这样做：

foreach(i=1:100, .combine = function(x, y){tryCatch(?)} %dopar% {
    long_process_which_fails_randomly(i)
}

---

但是，如何在.combine函数中使用该任务的输入（如果可以完成）？或者我应该在

%dopar%

中提供一个返回标志或列表来计算它吗

要在combine函数中执行任务，需要在foreach循环体返回的结果对象中包含额外的信息。在这种情况下，这将是一个错误标志和

i

的值。有很多方法可以做到这一点，但这里有一个例子：

comb <- function(results, x) {
  i <- x$i
  result <- x$result
  if (x$error) {
    cat(sprintf('master computing failed task %d\n', i))
    # Could call function repeatedly until it succeeds,
    # but that could hang the master
    result <- try(fails_randomly(i))
  }
  results[i] <- list(result)  # guard against a NULL result
  results
}

r <- foreach(i=1:100, .combine='comb',
             .init=vector('list', 100)) %dopar% {
  tryCatch({
    list(error=FALSE, i=i, result=fails_randomly(i))
  },
  error=function(e) {
    list(error=TRUE, i=i, result=e)
  })
}

---

谢谢你的回答！你能解释一下为什么你想重复这个并行循环直到整个任务都计算出来吗？你认为这样会更容易/更快，因为每次错误都发生在不同的迭代中吗？@Llopis这完全取决于你的特定问题。如果错误不能发生在主机上，那么您的方法可能会更好。如果这同样可能发生在主机上，那么您也可以使用workers，因为这样会更快。编写容错程序可能很棘手，因此考虑一些不同的方法是很有用的。我不理解错误的来源，很难猜测，但感谢您提供了其他方法
x <- rnorm(100)
results <- lapply(x, function(i) simpleError(''))

# Might want to put a limit on the number of retries
repeat {
  ix <- which(sapply(results, function(x) inherits(x, 'error')))
  if (length(ix) == 0)
    break

  cat(sprintf('computing tasks %s\n', paste(ix, collapse=',')))
  r <- foreach(i=x[ix], .errorhandling='pass') %dopar% {
    fails_randomly(i)
  }

  results[ix] <- r
}