Warning: file_get_contents(/data/phpspider/zhask/data//catemap/4/webpack/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache nifi NiFi GetMongo永久获取数据_Apache Nifi - Fatal编程技术网

Apache nifi NiFi GetMongo永久获取数据

Apache nifi NiFi GetMongo永久获取数据,apache-nifi,Apache Nifi,我在MongoDB中有数百万条记录,我想使用NiFi来移动数据。下面是我想要运行的场景: 1) 我将设置NiFi 2) NiFi将自动获取批量为100条记录的记录 3) 一旦完成,它将在添加新条目时提取 我尝试将此场景应用于一个小型MongoDB集合(从mongo获取并作为文件存储),我发现NiFi将永远重复这个过程,并复制记录 以下是我在NiFi上创建的流: 有什么建议可以解决这个问题吗?不幸的是,GetMongo没有状态跟踪功能。在我解释过的地方也有类似的问题。你可以找到它们: 不幸

我在MongoDB中有数百万条记录,我想使用NiFi来移动数据。下面是我想要运行的场景:

1) 我将设置NiFi

2) NiFi将自动获取批量为100条记录的记录

3) 一旦完成,它将在添加新条目时提取

我尝试将此场景应用于一个小型MongoDB集合(从mongo获取并作为文件存储),我发现NiFi将永远重复这个过程,并复制记录

以下是我在NiFi上创建的流:


有什么建议可以解决这个问题吗?

不幸的是,
GetMongo
没有状态跟踪功能。在我解释过的地方也有类似的问题。你可以找到它们:


    • 不幸的是,
      GetMongo
      没有状态跟踪功能。在我解释过的地方也有类似的问题。你可以找到它们:


      如果我将批量大小设置为100,它会以100和100取货吗?不尝试一次获取所有行?如果我将批处理大小设置为100,它会获取100和100吗?不尝试一次获取所有行?