Apache nifi 为什么QueryDatabaseTable在ApacheNIFI中执行完整的查询获取而不是使用最大列值从Oracle获取数据?
我正在使用Apache nifi 为什么QueryDatabaseTable在ApacheNIFI中执行完整的查询获取而不是使用最大列值从Oracle获取数据?,apache-nifi,Apache Nifi,我正在使用QueryDatabaseTable处理器对Bigquery进行增量批量更新。Oracle数据库表以每分钟5行的速度不断增加 流程:QueryDatabaseTable->ConvertAvroToJson->PutBigQueryBatchUpdate 我用10分钟的时间运行这个流程,查询结果大约有2000行 QueryDatabaseTable我已修改的处理器配置: 表名,附加WHERE子句,最大值列 QueryDatabaseTable应仅在“视图状态”中可见的列的最大值之后提取
QueryDatabaseTable
处理器对Bigquery进行增量批量更新。Oracle数据库表以每分钟5行的速度不断增加
流程:QueryDatabaseTable
->ConvertAvroToJson
->PutBigQueryBatchUpdate
我用10分钟的时间运行这个流程,查询结果大约有2000行
QueryDatabaseTable
我已修改的处理器配置:
表名
,附加WHERE子句
,最大值列
QueryDatabaseTable
应仅在“视图状态”中可见的列的最大值之后提取。但我的设置只是返回整个查询结果
每次查询后,列的最大值将更新为最新的最大值
列的最大值包含日期
我还尝试在清除状态后运行,没有值最大值列
为空,结果相同
我错过了什么
其他信息:
QueryDatabaseTable配置也有以下部分,我认为与此问题有关
Transaction Isolation Level : No value set
QueryDatebaseTable
如果我只给出了表名,则它不起作用
删除WHERE子句
属性并创建自定义查询
使处理器按预期工作