Apache nifi NiFi |流文件内存依赖

我试图理解NiFi数据流机制。我读到Nifi有一个流文件，其中包含内容和元数据流文件属性

---

因此，我想了解，如果我在边缘节点上放置了1 TB的数据，并希望将其传递给Nifi处理器，它是否会将所有内容加载到内存中供处理器使用？

本文中称为FF的流文件类似于HTTP数据，因为它们由您强调的内容和属性元数据组成。但是，在NiFi框架中处理这些内容的方式是，元数据驻留在内存中，每个连接的配置限制不超过一个，FF的内容部分实际上是指向磁盘上内容的指针。也就是说，一旦内容被接收到NiFi中，它就不再在任何时间点保存在内存中，使用允许NiFi处理任意大文件的方法。存储在内存中的唯一内容是FFs的元数据，该元数据可配置为限制每个连接的数量

当处理器需要进行更改时，这将练习修改方法

---

通常，处理器使用流式方法向内容存储库读/写数据。为此，附带的处理器避免将FF的全部内容存储在内存中，因为这可能会被证明是禁止的。对于任意大的文件，简单的路由和数据移动应该没有问题；避免堆内存上的过度压力。当考虑对此类文件进行转换/修改时，答案是通常可以，但这取决于数据类型的具体情况。

此处称为FF的流文件类似于HTTP数据，因为它们由您强调的内容和属性元数据组成。但是，在NiFi框架中处理这些内容的方式是，元数据驻留在内存中，每个连接的配置限制不超过一个，FF的内容部分实际上是指向磁盘上内容的指针。也就是说，一旦内容被接收到NiFi中，它就不再在任何时间点保存在内存中，使用允许NiFi处理任意大文件的方法。存储在内存中的唯一内容是FFs的元数据，该元数据可配置为限制每个连接的数量

当处理器需要进行更改时，这将练习修改方法

---

通常，处理器使用流式方法向内容存储库读/写数据。为此，附带的处理器避免将FF的全部内容存储在内存中，因为这可能会被证明是禁止的。对于任意大的文件，简单的路由和数据移动应该没有问题；避免堆内存上的过度压力。当考虑对此类文件进行转换/修改时，答案是通常可以，但这取决于数据类型的具体情况。

我还建议查看NiFi深入文档，该文档是随NiFi 0.7.0添加的，但在这里1.0.0仍然是最新的：非常感谢apiri。关于我的用例，我还有几个问题。我将就此发布另一个问题。我还建议查看添加了NiFi 0.7.0的NiFi深入文档，它仍然是最新的1.0.0版本：非常感谢apiri。关于我的用例，我还有几个问题。我将为此发布另一个问题。