Apache kafka Flink:使用kafka流连接文件

我有个问题我真的想不出来。 因此，我有一个卡夫卡流，其中包含如下数据：

{"adId":"9001", "eventAction":"start", "eventType":"track", "eventValue":"", "timestamp":"1498118549550"}

我想用另一个值“bookingId”替换“adId”。 这个值位于csv文件中，但我真的不知道如何让它工作

这是我的映射csv文件：

9001;8
9002;10

所以我的输出最好是

{"bookingId":"8", "eventAction":"start", "eventType":"track", "eventValue":"", "timestamp":"1498118549550"}

此文件每小时至少可以刷新一次，因此它应该能够获取对其所做的更改

我目前有一个不适用于我的代码：

final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.enableCheckpointing(30000); // create a checkpoint every 30 seconds
env.setStreamTimeCharacteristic(TimeCharacteristic.ProcessingTime);

DataStream<String> adToBookingMapping = env.readTextFile(parameters.get("adToBookingMapping"));

DataStream<Tuple2<Integer,Integer>> input = adToBookingMapping.flatMap(new Tokenizer());

//Kafka Consumer
Properties properties = new Properties();
properties.setProperty("bootstrap.servers", parameters.get("bootstrap.servers"));
properties.setProperty("group.id", parameters.get("group.id"));

FlinkKafkaConsumer010<ObjectNode> consumer = new FlinkKafkaConsumer010<>(parameters.get("inbound_topic"), new JSONDeserializationSchema(), properties);

consumer.setStartFromGroupOffsets();

consumer.setCommitOffsetsOnCheckpoints(true);

DataStream<ObjectNode> logs = env.addSource(consumer);

DataStream<Tuple4<Integer,String,Integer,Float>> parsed = logs.flatMap(new Parser());

// output -> bookingId, action, impressions, sum
DataStream<Tuple4<Integer, String,Integer,Float>> joined = runWindowJoin(parsed, input, 3);


public static DataStream<Tuple4<Integer, String, Integer, Float>> runWindowJoin(DataStream<Tuple4<Integer, String, Integer, Float>> parsed,
      DataStream<Tuple2<Integer, Integer>> input,long windowSize) {

  return parsed.join(input)
          .where(new ParsedKey())
          .equalTo(new InputKey())
          .window(TumblingProcessingTimeWindows.of(Time.of(windowSize, TimeUnit.SECONDS)))
          //.window(TumblingEventTimeWindows.of(Time.milliseconds(30000)))
          .apply(new JoinFunction<Tuple4<Integer, String, Integer, Float>, Tuple2<Integer, Integer>, Tuple4<Integer, String, Integer, Float>>() {

              private static final long serialVersionUID = 4874139139788915879L;

              @Override
              public Tuple4<Integer, String, Integer, Float> join(
                              Tuple4<Integer, String, Integer, Float> first,
                              Tuple2<Integer, Integer> second) {
                  return new Tuple4<Integer, String, Integer, Float>(second.f1, first.f1, first.f2, first.f3);
              }
          });
}

final StreamExecutionEnvironment env=StreamExecutionEnvironment.getExecutionEnvironment（）；
环境启用检查点（30000）；//每30秒创建一个检查点
环境setStreamTimeCharacteristic（TimeCharacteristic.ProcessingTime）；
DataStream adToBookingMapping=env.readTextFile（parameters.get（“adToBookingMapping”）；
DataStream input=adToBookingMapping.flatMap（新标记器（））；
//卡夫卡消费者
属性=新属性（）；
properties.setProperty（“bootstrap.servers”，parameters.get（“bootstrap.servers”）；
properties.setProperty（“group.id”，parameters.get（“group.id”）；
FlinkKafkaConsumer010 consumer=新的FlinkKafkaConsumer010（parameters.get（“inbound_topic”），新的JSONDeserializationSchema（），属性）；
consumer.setStartFromGroupOffsets（）；
consumer.setcommitofsetsoncheckpoints（true）；
数据流日志=env.addSource（消费者）；
DataStream parsed=logs.flatMap（新解析器（））；
//输出->bookingId、动作、印象、总和
datastreamjoin=runWindowJoin（已解析，输入，3）；
公共静态数据流runWindowJoin（已解析数据流，
数据流输入，长窗口大小）{
返回已解析的.join（输入）
.where（新的ParsedKey（））
.equalTo（新的InputKey（））
.window（TumblingProcessingTimeWindows.of（Time.of（windowSize，TimeUnit.SECONDS）））
//.window（TumblingEventTimeWindows.of（时间.毫秒（30000）））
.apply（新函数（）{
私有静态最终长serialVersionUID=4874139139788915879L；
@凌驾
公共元组4联接(
Tuple4首先，
Tuple2（秒）{
返回新的Tuple4（second.f1、first.f1、first.f2、first.f3）；
}
});
}

代码只运行一次，然后停止，因此它不会使用csv文件转换kafka中的新条目。关于如何使用csv文件中的最新值处理来自Kafka的流，有什么想法吗

亲切问候,

---

Darkowanage

您的目标似乎是将数据流与缓慢变化的目录（即侧输入）连接起来。我不认为

join

操作在这里有用，因为它不跨窗口存储目录条目。此外，文本文件是一个有界输入，其行被读取一次

考虑使用

connect

创建连接的流，并将目录数据存储为托管状态以执行查找。运算符的并行度必须为1

通过研究“辅助输入”，看看人们现在使用的解决方案，你可能会找到更好的解决方案。见和