Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/apache-kafka/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache kafka 卡夫卡连接生产商投票机制_Apache Kafka_Apache Kafka Connect_Splunk - Fatal编程技术网

Apache kafka 卡夫卡连接生产商投票机制

Apache kafka 卡夫卡连接生产商投票机制,apache-kafka,apache-kafka-connect,splunk,Apache Kafka,Apache Kafka Connect,Splunk,我从splunk日志中轮询数据并写入主题。每次投票运行时,它如何知道应该获得一组新的记录。我是否需要从日志中存储上次读取的时间戳并将其存储在sourceoffset中?下次运行轮询时,我是否需要有逻辑来获取该时间戳之后的数据 我需要逻辑来获取时间戳之后的数据吗 是的,否则我想你会不断地轮询同一时间段的日志 它如何知道它应该获得一组新的记录 “新”是相对的。轮询循环将持续运行。由您来告诉命令要发送到主题的记录集

我从splunk日志中轮询数据并写入主题。每次投票运行时,它如何知道应该获得一组新的记录。我是否需要从日志中存储上次读取的时间戳并将其存储在sourceoffset中?下次运行轮询时,我是否需要有逻辑来获取该时间戳之后的数据

我需要逻辑来获取时间戳之后的数据吗

是的,否则我想你会不断地轮询同一时间段的日志

它如何知道它应该获得一组新的记录

“新”是相对的。轮询循环将持续运行。由您来告诉命令要发送到主题的记录集