Java MongoDB作为Flink的数据源

Java MongoDB作为Flink的数据源,java,mongodb,apache-flink,Java,Mongodb,Apache Flink,能否将MongoDB用作Apache Flink处理流式数据的数据源 Apache Flink的本机实现是什么,不使用SQL数据库作为数据源?目前,Flink没有从MongoDB读取的专用连接器。您可以执行以下操作: 使用StreamExecutionEnvironment.createInput并使用Flink的包装输入格式为MongoDB提供Hadoop输入格式 通过实现SourceFunction/ParallelSourceFunction 前者应该为您提供至少一次处理保证,因为Mo

能否将MongoDB用作Apache Flink处理流式数据的数据源


Apache Flink的本机实现是什么,不使用SQL数据库作为数据源?

目前,Flink没有从MongoDB读取的专用连接器。您可以执行以下操作:

  • 使用
    StreamExecutionEnvironment.createInput
    并使用Flink的包装输入格式为MongoDB提供Hadoop输入格式
  • 通过实现
    SourceFunction
    /
    ParallelSourceFunction
前者应该为您提供至少一次处理保证,因为MongoDB集合在恢复时会被完全重新读取。根据MongoDB客户端的功能,您可能能够使用后一种方法实现一次处理保证