C# 意外行为-执行TriggerBatch时TPL DataFlow BatchBlock拒绝项

C# 意外行为-执行TriggerBatch时TPL DataFlow BatchBlock拒绝项,c#,tpl-dataflow,C#,Tpl Dataflow,当您创建容量有限的batchblock并在过帐新项目时调用triggerBatch时(与过帐新项目并行),过帐新项目将在触发器批处理执行期间失败 调用触发器批处理(每X次)是为了确保在传入数据流暂停或减慢的情况下,数据不会在块中延迟太长时间 以下代码将输出一些“故障后”事件。 例如: public static void Main(string[] args) { var batchBlock = new BatchBlock<int>(10, new

当您创建容量有限的batchblock并在过帐新项目时调用triggerBatch时(与过帐新项目并行),过帐新项目将在触发器批处理执行期间失败

调用触发器批处理(每X次)是为了确保在传入数据流暂停或减慢的情况下,数据不会在块中延迟太长时间

以下代码将输出一些“故障后”事件。 例如:

    public static void Main(string[] args)
    {
        var batchBlock = new BatchBlock<int>(10, new GroupingDataflowBlockOptions() { BoundedCapacity = 10000000 });
        var actionBlock = new ActionBlock<int[]>(x => ProcessBatch(x), new ExecutionDataflowBlockOptions() { MaxDegreeOfParallelism = 1 });
        batchBlock.LinkTo(actionBlock);

        var producerTask = Task.Factory.StartNew(() =>
        {
            //Post 10K Items
            for (int i = 0; i < 10000; i++)
            {
                var postResult = batchBlock.Post(i);
                if (!postResult)
                    Console.WriteLine("Failed to Post");
            }
        });

        var triggerBatchTask = Task.Factory.StartNew(() =>
            {                    
                //Trigger Batch..
                for (int i = 0; i < 1000000; i++)
                    batchBlock.TriggerBatch();
            });

        producerTask.Wait();
        triggerBatchTask.Wait();
    }

    public static void ProcessBatch(int[] batch)
    {
        Console.WriteLine("{0} - {1}", batch.First(), batch.Last());
    }
publicstaticvoidmain(字符串[]args)
{
var batchBlock=new batchBlock(10,new GroupingDataflowBlockOptions(){BoundedCapacity=10000000});
var actionBlock=new actionBlock(x=>ProcessBatch(x),new ExecutionDataflowBlockOptions(){maxdegreeofpparallelism=1});
batchBlock.LinkTo(actionBlock);
var producerTask=Task.Factory.StartNew(()=>
{
//投递10K物品
对于(int i=0;i<10000;i++)
{
var postResult=batchBlock.Post(i);
如果(!postResult)
Console.WriteLine(“未能发布”);
}
});
var triggerBatchTask=Task.Factory.StartNew(()=>
{                    
//触发批次。。
对于(int i=0;i<1000000;i++)
batchBlock.TriggerBatch();
});
producerTask.Wait();
triggerBatchTask.Wait();
}
公共静态void ProcessBatch(int[]批处理)
{
WriteLine(“{0}-{1}”,batch.First(),batch.Last());
}
*请注意,只有当batchBlock有界时,此场景才是可复制的


我是缺少了什么还是batchBlock有问题?

batchBlock并没有真正拒绝该项目,它试图推迟该项目。除了在
Post()。解决此问题的一个简单方法是使用
wait batchBlock.SendAsync(i)
,而不是
batchBlock.Post(i)
(这也意味着您需要将
Task.Factory.StartNew(()=>
更改为
Task.Run(async()=>

为什么会发生这种情况?根据,如果
BatchBlock
是有界的,
TriggerBatch()
是异步处理的,并且在处理过程中,不会接受任何新项


在任何情况下,您都不应该期望有界块上的
Post()
总是返回
true
,如果该块已满,
Post()
也将返回
false

同时我正在使用另一个解决方案,通过引入另一个将接受失败的块,最终我将以串行方式在两个块上调用triggerbatch。根据您建议的解决方案-Wait和async将创建一个任务来处理每个传入项,这可能会导致内存不足问题当您有大量事件时,许多任务将无限期地创建。@AlYaros不,不会。如果项目被接受,您将得到一个缓存的
任务,因此那里没有分配。如果项目被推迟,您显示的代码在被接受之前不会添加新项目。如果在您的实际代码中
等待
将导致问题,则在我看来,要么你应该能够修复它们,要么即使没有它,你也会遇到问题。顺便说一句,谢谢你的评论:)就任务内存消耗而言,我不确定这是否绝对安全。我将看一看您建议的源代码,并对其进行一点测试。无论post结果如何,任务不是在执行块代码之前创建的吗?如果没有达到有界容量,无论Tr如何,我也希望post将被接受IGGER批处理。有些相关: