Apache kafka 卡夫卡连接生产商投票机制
我从splunk日志中轮询数据并写入主题。每次投票运行时,它如何知道应该获得一组新的记录。我是否需要从日志中存储上次读取的时间戳并将其存储在sourceoffset中?下次运行轮询时,我是否需要有逻辑来获取该时间戳之后的数据 我需要逻辑来获取时间戳之后的数据吗 是的,否则我想你会不断地轮询同一时间段的日志 它如何知道它应该获得一组新的记录 “新”是相对的。轮询循环将持续运行。由您来告诉命令要发送到主题的记录集Apache kafka 卡夫卡连接生产商投票机制,apache-kafka,apache-kafka-connect,splunk,Apache Kafka,Apache Kafka Connect,Splunk,我从splunk日志中轮询数据并写入主题。每次投票运行时,它如何知道应该获得一组新的记录。我是否需要从日志中存储上次读取的时间戳并将其存储在sourceoffset中?下次运行轮询时,我是否需要有逻辑来获取该时间戳之后的数据 我需要逻辑来获取时间戳之后的数据吗 是的,否则我想你会不断地轮询同一时间段的日志 它如何知道它应该获得一组新的记录 “新”是相对的。轮询循环将持续运行。由您来告诉命令要发送到主题的记录集