Azure 带有blob输入的慢速流分析

Azure 带有blob输入的慢速流分析,azure,azure-storage-blobs,azure-stream-analytics,Azure,Azure Storage Blobs,Azure Stream Analytics,我继承了一个解决方案,它使用带有blob的流分析作为输入,然后写入Azure SQL数据库 最初,该解决方案运行良好,但在向容器中添加数百万个blob并且不删除旧blob之后,流分析处理新blob的速度很慢。此外,似乎遗漏/跳过了一些blob 问题:流分析如何知道容器中有新的blob 在EventGrid之前,Blob存储没有推送通知机制,无法让Stream Analytics知道需要处理新Blob,因此我假设Stream Analytics正在轮询容器以获取类似CloudBlobContain

我继承了一个解决方案,它使用带有blob的流分析作为输入,然后写入Azure SQL数据库

最初,该解决方案运行良好,但在向容器中添加数百万个blob并且不删除旧blob之后,流分析处理新blob的速度很慢。此外,似乎遗漏/跳过了一些blob

问题:流分析如何知道容器中有新的blob

在EventGrid之前,Blob存储没有推送通知机制,无法让Stream Analytics知道需要处理新Blob,因此我假设Stream Analytics正在轮询容器以获取类似CloudBlobContainer.ListBlob的Blob列表,并在内部保存Blob列表,因此,当它再次进行轮询时,它可以将新列表与旧列表进行比较,并知道哪些blob是新的,需要处理

各国:

流分析将只查看每个文件一次


然而,除此之外,我还没有看到任何其他文档来解释流分析如何知道要处理哪些blob。

ASA使用列表blob来获取blob列表


如果可以按日期-时间模式对blob路径进行分区,则效果会更好。ASA只需列出特定路径即可发现新的Blob,如果没有日期模式,则必须列出所有Blob。这可能就是为什么大量blob会使存储速度变慢。

您是如何将blob存储工作作为输入的?我在SQL查询中总是得到0行。你能帮忙吗?