从Azure存储容器处理IIS日志文件-使用web作业是个好主意吗？

我在一个容器中有超过250MB大小的azure日志文件，每小时6个文件。我有cs程序来访问和处理这些日志文件。但我现在所做的只是从一个小时内创建的每个日志文件中只提取100行。如果我正在处理整个文件，那么我希望访问几乎1.5GB的数据。我如何处理这种情况？我的计划是使用WebJob自动从此日志文件创建较小的文件，并将这些文件存储到不同的容器中，然后从我的cs程序访问这些文件。你知道吗

说实话，我不明白这个问题-你担心是因为流量还是处理时间？

---

在任何情况下，您都可以尝试通过删除IIS日志设置中的某些字段来减小文件大小。另一个选项是将日志文件滚动设置为较小的大小-这可以最大限度地减少处理的下载时间。

您的建议对于WebJob是可行的，但听起来文件的大小是个问题。不同的日志类型是否更适合您的场景？可能使用失败的请求跟踪。您还可以在诊断配置中更改详细级别。有关更多信息，请参阅：

---

我担心的是处理如此大量的数据前一段时间，我们试图使用HDInsight进行IIS日志分析-解决方案看起来很优雅，但很复杂：-现在我们一个接一个地处理文件，我们的网站上传似乎没问题。