Apache nifi Nifi占用所有可用磁盘空间

我有一些进程在SQL基础上搜索，并在队列中运行

在队列中，我将大小限制为100mb，数量限制为10，但即使如此，NiFi也会立即忽略并分配所有内容，生成一个超过80GB的队列

---

我运行在VMWare中有4个虚拟机、8GB Ram和50GB HD的群集上。有人知道出了什么问题吗？

您使用的是哪些处理器？请仔细检查处理器的运行计划，尤其是“源”处理器（那些没有上游连接并自行生成数据的处理器，无论是否来自外部源）。所有处理器都默认以尽可能快的速度运行，因此，如果您使用GenerateFlowFile之类的工具并使用其默认设置运行它，它几乎会立即生成数千个FlowFile

---

您的源处理器应该提供自己的增量特性（例如QueryDatabaseTable，它跟踪所看到的最大值，并且只在列具有更高值时获取新行），或者安排为合理的时间（1秒、1小时、7天等）

您使用的是哪些处理器？请仔细检查处理器的运行计划，尤其是“源”处理器（那些没有上游连接并自行生成数据的处理器，无论是否来自外部源）。所有处理器都默认以尽可能快的速度运行，因此，如果您使用GenerateFlowFile之类的工具并使用其默认设置运行它，它几乎会立即生成数千个FlowFile

---

您的源处理器应该提供自己的增量特性（例如QueryDatabaseTable，它跟踪所看到的最大值，并且只在列具有更高值时获取新行），或者安排合理的时间（1秒、1小时、7天等）

我使用的是“QueryDatabaseTable”。但是现在你说的很有道理。目标是一个初始设置，我的查询一次带来了所有数据，我应该在之前分页查询并增加处理器延迟。我使用“QueryDatabaseTable”。但是现在你说的很有道理。目标是一个初始设置，我的查询一次带来了所有数据，我应该在之前分页查询并增加处理器延迟。