Azure 流分析太慢(两个流之间的时间滑动)?

Azure 流分析太慢(两个流之间的时间滑动)?,azure,amazon-kinesis,azure-stream-analytics,stream-analytics,Azure,Amazon Kinesis,Azure Stream Analytics,Stream Analytics,这是我的流分析拓扑 每个作业在EventHubSource中都有不同的消费者组。 每项工作都是独立的,只消耗 14%的SU资源。 在测试JobA和JobC时,windowEnd和原始事件时间之间的差异仅为几毫秒~300,从我的producer+eventhub+流分析处理时间来看,这是正常的延迟 但当我在一份新工作中加入两条流时,C如下: EventHubA \ => Job C (Join Datediff = 0 and timestamp

这是我的流分析拓扑

每个作业在EventHubSource中都有不同的消费者组。 每项工作都是独立的,只消耗 14%的SU资源。 在测试JobA和JobC时,windowEnd和原始事件时间之间的差异仅为几毫秒~300,从我的producer+eventhub+流分析处理时间来看,这是正常的延迟

但当我在一份新工作中加入两条流时,C如下:

EventHubA 
          \
            => Job C (Join Datediff = 0 and timestamp by windowEnd)
          /
EventHubB
这会产生一些输出,但问题来了:

即使作业A和作业B在同一个windowEnd中同时推送实际事件,它们之间的间隔也是几分钟

当我检查来自EventHub A和B的数据时,windowEnd和真实事件时间戳之间的差异都在39到44分钟之间。但当像上面提到的那样进行测试时,它只有300毫秒

这里最糟糕的部分是,当我在prod中运行它时,它只发出十几个事件并停止,即使输入计数仍然是数千

我已经花了好几个星期来研究这个,每次我处理ASA的一些神秘行为时,我的拓扑结构非常简单,我只使用1s-hop的简单跳跃窗口,这不应该花费数周的调整和尝试错误,甚至不了解发生了什么


对于使用ASA和AWS运动分析的人,您是否发现运动分析更易于使用?ASA中让我恼火的是,在没有错误消息的情况下,不可预测的行为和问题我激活了日志分析,没有出现错误…

很抱歉听到您在ASA中遇到了一些问题。我看到你有一个1秒的跳频窗口,但是窗口的总大小是多少,你的大约吞吐量是多少

关于延迟:看看你的问题,我认为你的ASA作业可能没有足够的CPU资源,然后事件处理被延迟。不幸的是,这在当前的SU%度量中不可见,但我们计划在将来显示CPU和内存的度量。 要确认这是根本原因,可以检查中的积压事件数。如果有大量事件积压,则可能需要增加此作业的SU数

您还提到了在十几次输出后作业停止,您是否在日志中看到错误消息

EventHubA 
          \
            => Job C (Join Datediff = 0 and timestamp by windowEnd)
          /
EventHubB