Apache flink 使用ApacheFlink进行复杂事件处理

Apache flink 使用ApacheFlink进行复杂事件处理,apache-flink,correlation,flink-streaming,complex-event-processing,flink-cep,Apache Flink,Correlation,Flink Streaming,Complex Event Processing,Flink Cep,我目前正在开发一个复杂的事件处理系统,用于处理每秒100000个非常高的日志流事件。复杂事件处理设置计划成为一种框架,50-100条规则将被提供给该框架,以便在传入事件上运行 规则的结构如下 它包括动作,可由发生次数和必须发生的时间范围分隔 单个操作内的时间间隔,在此时间间隔内必须进行下一个操作 请注意,我们有两种类型的时间限制,一种用于操作,另一种用于操作 一个动作只是一个单独的事件,可以通过特定的标准进一步过滤 标准可以是简单的,如IP地址等于“X.X.X.X”,也可以是复杂的,如常

我目前正在开发一个复杂的事件处理系统,用于处理每秒100000个非常高的日志流事件。复杂事件处理设置计划成为一种框架,50-100条规则将被提供给该框架,以便在传入事件上运行

规则的结构如下

  • 它包括动作,可由发生次数和必须发生的时间范围分隔

  • 单个操作内的时间间隔,在此时间间隔内必须进行下一个操作

请注意,我们有两种类型的时间限制,一种用于操作,另一种用于操作

一个动作只是一个单独的事件,可以通过特定的标准进一步过滤

标准可以是简单的,如IP地址等于“X.X.X.X”,也可以是复杂的,如常量、变量、共享

Constant只不过字段的值保持不变。这可以被视为CEP引擎中的groupby

Variable是指字段的值对于动作中每次发生的事件都是可变的。 不同的端口在5分钟内访问了50次

共享字段是在一个操作和另一个操作之间共享的字段。这类字段的eg将是第一个操作中字段的值应与第二个操作中的值匹配

我在弗林克也遇到过窗户,但我怀疑是否有一扇大小为100的窗户。窗口在0到100之间,然后在100到200之间。但我们需要将数据关联起来,即使是在50到150之间。所以我需要找出如何在弗林克做到这一点

此外,一旦找到一个模式的匹配项,我们将仅删除该模式中匹配的条目,并希望将剩余状态存储12小时,并在出现任何延迟事件时执行计算

所以我想知道apache flink是否适合我的场景