Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Java 在spark上下文中创建计时器_Java_Apache Spark_Apache Kafka_Bigdata - Fatal编程技术网
Fatal编程技术网
  • java/
  • Java 在spark上下文中创建计时器

Java 在spark上下文中创建计时器

java apache-spark apache-kafka

Java 在spark上下文中创建计时器,java,apache-spark,apache-kafka,bigdata,Java,Apache Spark,Apache Kafka,Bigdata,我们有一个spark应用程序，从Kafka流式传输，并使用客户活动。我试图确定客户是否已在我们的系统上停止活动3分钟（即3分钟内未收到该客户的另一笔交易） 我不确定我是否试图以正确的方式实现这一点，或者在Spark中使用此逻辑是否有意义，但我正在尝试使用RecurringTimer类来实现这一点。有人实现过类似的东西吗？如果有，spark库中使用了什么实用函数 任何示例、指针等也将非常感谢请查看mapWithState，基本上，您将聚合成一个键/值对，由客户的某个标识符和收到的上一笔交易的时间戳

我们有一个spark应用程序，从Kafka流式传输，并使用客户活动。我试图确定客户是否已在我们的系统上停止活动3分钟（即3分钟内未收到该客户的另一笔交易）

我不确定我是否试图以正确的方式实现这一点，或者在Spark中使用此逻辑是否有意义，但我正在尝试使用RecurringTimer类来实现这一点。有人实现过类似的东西吗？如果有，spark库中使用了什么实用函数

任何示例、指针等也将非常感谢

请查看
mapWithState
，基本上，您将聚合成一个键/值对，由客户的某个标识符和收到的上一笔交易的时间戳组成

每个微批执行此聚合后，您可以检查并查看其中是否有任何用户具有
时间戳
，并执行某些操作（即将消息推送到另一个卡夫卡队列等）

mapWithState
上有一个示例可用

如果你读了这篇博文，甚至还介绍了一个会话超时功能。