C# TPL数据流-最终确定块
我有一个网络刮工作管道。它根据URL下载页面，解析内容，然后将结果分成块（每个x元素都保存到DB中），工作正常 但我还需要一个额外的步骤，它将总结在管道中所做的一切。我当前的实现是通过管道传递相同的对象（在接下来的步骤中只添加一些值），因此我制作了一些复制代码，这应该显示我想要实现的目标C# TPL数据流-最终确定块,c#,task-parallel-library,tpl-dataflow,C#,Task Parallel Library,Tpl Dataflow,我有一个网络刮工作管道。它根据URL下载页面，解析内容，然后将结果分成块（每个x元素都保存到DB中），工作正常 但我还需要一个额外的步骤，它将总结在管道中所做的一切。我当前的实现是通过管道传递相同的对象（在接下来的步骤中只添加一些值），因此我制作了一些复制代码，这应该显示我想要实现的目标 Console.WriteLine($"Processing started: {DateTime.Now.ToString()}"); var workBuffer = new Batch
Console.WriteLine($"Processing started: {DateTime.Now.ToString()}");
var workBuffer = new BatchBlock<string>(3);
var resultsToFinalize = new List<string>();
var downloadUrl = new TransformBlock<string, string>(url =>
{
Thread.Sleep(int.Parse(url.Last().ToString()) * 1000);
return url;
}, new ExecutionDataflowBlockOptions { MaxDegreeOfParallelism = DataflowBlockOptions.Unbounded });
var parseContent = new TransformBlock<string, string>(content =>
{
Thread.Sleep(int.Parse(content.Last().ToString()) * 1000 / 2);
return $"parsing result for: {content}";
}, new ExecutionDataflowBlockOptions { MaxDegreeOfParallelism = DataflowBlockOptions.Unbounded });
var saveToDb = new ActionBlock<string[]>(results =>
{
Console.WriteLine($"results: {DateTime.Now.ToString()} {String.Join(", ", results)}");
results.ToList().ForEach(t => resultsToFinalize.Add(t));
}, new ExecutionDataflowBlockOptions { MaxDegreeOfParallelism = 1 });
downloadUrl.LinkTo(parseContent, new DataflowLinkOptions
{
PropagateCompletion = true
});
parseContent.LinkTo(workBuffer, new DataflowLinkOptions
{
PropagateCompletion = true
});
workBuffer.LinkTo(saveToDb, new DataflowLinkOptions
{
PropagateCompletion = true
});
Enumerable.Range(2, 9).Select(t => downloadUrl.Post($"http://some_site_to_parse.com{t}"));
downloadUrl.Complete();
saveToDb.Completion.Wait();
Console.WriteLine(String.Join(Environment.NewLine, resultsToFinalize));
Console.WriteLine（$”处理已开始：{DateTime.Now.ToString（）}）；
var workBuffer=新批处理块（3）；
var resultsToFinalize=新列表（）；
var downloadUrl=新转换块（url=>
{
Sleep（int.Parse（url.Last（）.ToString（））*1000）；
返回url；
}，新的ExecutionDataflowBlockOptions{MaxDegreeOfParallelism=DataflowBlockOptions.Unbounded}）；
var parseContent=newtransformblock（内容=>
{
Sleep（int.Parse（content.Last（）.ToString（））*1000/2）；
返回$“对：{content}的分析结果”；
}，新的ExecutionDataflowBlockOptions{MaxDegreeOfParallelism=DataflowBlockOptions.Unbounded}）；
var saveToDb=新操作块（结果=>
{
WriteLine（$”结果：{DateTime.Now.ToString（）}{String.Join（“，”，results）}）；
results.ToList（）.ForEach（t=>resultsToFinalize.Add（t））；
}，新的ExecutionDataflowBlockOptions{MaxDegreeOfParallelism=1}）；
downloadUrl.LinkTo（解析内容，新数据流链接选项
{
完成=真
});
LinkTo（工作缓冲区，新的DataflowLinkOptions
{
完成=真
});
workBuffer.LinkTo（saveToDb，新的DataflowLinkOptions
{
完成=真
});
范围（2，9）。选择（t=>downloadUrl.Post（$）http://some_site_to_parse.com{t} ”）；
downloadUrl.Complete（）；
saveToDb.Completion.Wait（）；
Console.WriteLine（String.Join（Environment.NewLine，resultsToFinalize））；
resultsToFinalize我假设saveToDb应该从ActionBlock更改为TransformBlock。最后可能会有一些新的动作块。问题是如何设置它-这样它只会发射一次。它不是黑客。如果你想批量写出数据，你需要一些东西来批量数据。一旦有了BatchBlock，就可以使用
SqlBulkCopyresultsToFinalizeSqlBulkCopy