C#TPL：可以在任意步骤重新启动失败的管道吗？

我有一个数据处理工作，由大约20个连续步骤组成。这些步骤都属于以下三个类别之一：

做一些文件操作

从数据库导入/导出数据

调用第三方web API

我已经使用示例和示例将代码从一个冗长、难看的方法重构为一个管道模式。所有步骤都是TransformBlock，例如

var stepThirteenPostToWebApi = new TransformBlock<FileInfo, System.Guid>(async csv =>
{
dynamic task = await ApiUtils.SubmitData(csv.FullName);
return task.guid;
});

var stepThirtenPostToWebAPI=新的转换块（异步csv=>
{
动态任务=等待aputils.SubmitData（csv.FullName）；
返回task.guid；
});

代码大部分时间都有效，但管道中的某个步骤偶尔会因任何原因而失败——比如说，在第6步（共20步）中无法读取损坏的文件（仅举一个例子——任何步骤都可能失败）。管道将停止运行进一步的任务，这是它应该停止的

然而，第三方web API带来了一个挑战——无论我们是执行全部20个步骤还是仅执行第一个步骤，我们都要为启动的每项作业付费

我希望能够修复问题步骤中出现的任何错误（同样，在我们的示例中，假设我在第6步（共20步）中修复了损坏的文件），然后在第6步重新开始。第三方web API对每个作业都有一个GUID，并且是异步的，所以这应该没问题——在问题解决后，它会很高兴地让作业继续执行剩余的步骤

我的问题：假设该步骤的先决条件是有效的，是否有可能（如果可行的话？）设计一个可以在任何步骤开始的管道？

它看起来像：

作业在步骤6失败，并将步骤5记录为最后一个成功步骤

一个人出现并修复导致步骤6失败的任何问题

在步骤6中启动一个新管道

---

我意识到一种暴力方式是使用

StartAtStep2（）

，

StartAtStep3（）

，

StartAtStep4（）

方法。这似乎不是一个好的设计，但我对这种模式有点陌生，所以这可能是可以接受的

暴力方式并没有那么糟糕，例如，您上面的代码只需要

bool StartAtStepThirteen(FileInfo csv) 
{ 
    return stepThirteenPostToWebApi.Post(csv); 
}

---

链的设置应该是一个独立的方法，而不是执行链。您应该在表示整个链的类中的类级别变量中保存

StepThirtenPostToWebAPI

，链的设置可以在类的构造函数中完成

这里是一个简单的3步版本的过程。当发生错误而不是使任务链出错时，我会记录错误并沿链传递

null

，以查找无效条目。您可以让日志方法引发一个事件，然后用户可以决定如何处理错误条目

public class WorkChain
{
    private readonly TransformBlock<string, FileInfo> stepOneGetFileInfo;
    private readonly TransformBlock<FileInfo, System.Guid?> stepTwoPostToWebApi;
    private readonly ActionBlock<System.Guid?> stepThreeDisplayIdToUser;

    public WorkChain()
    {
        stepOneGetFileInfo = new TransformBlock<string, FileInfo>(new Func<string, FileInfo>(GetFileInfo));
        stepTwoPostToWebApi = new TransformBlock<FileInfo, System.Guid?>(new Func<FileInfo, Task<Guid?>>(PostToWebApi));
        stepThreeDisplayIdToUser = new ActionBlock<System.Guid?>(new Action<Guid?>(DisplayIdToUser));

        stepOneGetFileInfo.LinkTo(stepTwoPostToWebApi, new DataflowLinkOptions() {PropagateCompletion = true});
        stepTwoPostToWebApi.LinkTo(stepThreeDisplayIdToUser, new DataflowLinkOptions() {PropagateCompletion = true});
    }

    public void PostToStepOne(string path)
    {
        bool result = stepOneGetFileInfo.Post(path);
        if (!result)
        {
            throw new InvalidOperationException("Failed to post to stepOneGetFileInfo");
        }
    }

    public void PostToStepTwo(FileInfo csv)
    {
        bool result = stepTwoPostToWebApi.Post(csv);
        if (!result)
        {
            throw new InvalidOperationException("Failed to post to stepTwoPostToWebApi");
        }
    }

    public void PostToStepThree(Guid id)
    {
        bool result = stepThreeDisplayIdToUser.Post(id);
        if (!result)
        {
            throw new InvalidOperationException("Failed to post to stepThreeDisplayIdToUser");
        }
    }

    public void CompleteAdding()
    {
        stepOneGetFileInfo.Complete();
    }

    public Task Completion { get { return stepThreeDisplayIdToUser.Completion; } }


    private FileInfo GetFileInfo(string path)
    {
        try
        {
            return new FileInfo(path);
        }
        catch (Exception ex)
        {
            LogGetFileInfoError(ex, path);
            return null;
        }

    }

    private async Task<Guid?> PostToWebApi(FileInfo csv)
    {
        if (csv == null)
            return null;
        try
        {
            dynamic task = await ApiUtils.SubmitData(csv.FullName);
            return task.guid;
        }
        catch (Exception ex)
        {
            LogPostToWebApiError(ex, csv);
            return null;
        }
    }

    private void DisplayIdToUser(Guid? obj)
    {
        if(obj == null)
            return;

        Console.WriteLine(obj.Value);
    }

}

公共类工作链
{
私有只读转换块stepOneGetFileInfo；
私有只读转换块stepTwoPostToWebApi；
私有只读操作块stepThreeDisplayIdToUser；
公共工作链（）
{
stepOneGetFileInfo=新转换块（新函数（GetFileInfo））；
StepTwoPostTowBapi=新转换块（新函数（PostTowBapi））；
stepThreeDisplayIdToUser=新动作块（新动作（DisplayIdToUser））；
stepOneGetFileInfo.LinkTo（stepTwoPostToWebApi，新的DataflowLinkOptions（）{PropagateCompletion=true}）；
stepTwoPostToWebApi.LinkTo（stepTwoPostToWebApi.LinkTo，新的DataflowLinkOptions（）{PropagateCompletion=true}）；
}
公共void PostToStepOne（字符串路径）
{
bool result=stepOneGetFileInfo.Post（路径）；
如果（！结果）
{
抛出新的InvalidOperationException（“未能发布到stepOneGetFileInfo”）；
}
}
public void posttostep2（FileInfo csv）
{
bool result=stepTwoPostToWebApi.Post（csv）；
如果（！结果）
{
抛出新的InvalidOperationException（“未能发布到stepTwoPostToWebApi”）；
}
}
公共无效PostToStep3（Guid id）
{
bool result=stepThreeDisplayIdToUser.Post（id）；
如果（！结果）
{
抛出新的InvalidOperationException（“未能发布到stepThreeDisplayIdToUser”）；
}
}
公共无效完成添加（）
{
stepOneGetFileInfo.Complete（）；
}
公共任务完成{get{return stepThreeDisplayIdToUser.Completion；}}
私有文件信息GetFileInfo（字符串路径）
{
尝试
{
返回新文件信息（路径）；
}
捕获（例外情况除外）
{
LogGetFileInfoError（例如，路径）；
返回null；
}
}
专用异步任务PostToWebApi（FileInfo csv）
{
如果（csv==null）
返回null；
尝试
{
动态任务=等待aputils.SubmitData（csv.FullName）；
返回task.guid；
}
捕获（例外情况除外）
{
LogPostTowerBaPierror（ex，csv）；
返回null；
}
}
私有无效显示IDTOUSER（Guid？obj）
{
if（obj==null）
返回；
控制台写入线（对象值）；
}
}

暴力方式并没有那么糟糕，例如，您上面的代码只需要是

bool startatstep13（FileInfo）{return stepThirteenPostToWebApi.Post（info）；}

我不清楚这是什么样子。。。我不需要在每个方法中从步骤N到结尾复制所有代码吗？如果是这样的话，维护起来似乎有问题。链的设置应该是一个独立的方法，而不是执行链。您应该在表示整个链的类中的类级别变量中保存

StepThirtenPostToWebAPI

（链的设置可以在类的构造函数中完成）。确定。如果你把它写下来作为答案，我会接受的。不要让管道失败。将每条消息包装在一个“信封”中，其中至少包含一个故障指示器和消息，并传播此信息。您可以使用

LinkTo

重载将成功消息与失败消息分开