Java 从流作业启动批处理
嗨，我有一个关于Flink流处理的maven项目。根据我从流中得到的消息，我启动了一个批处理过程，但目前我收到了一个错误 我对弗林克这个世界很陌生，如果你有任何想法，请告诉我。下面是我用来启动独立集群的代码Java 从流作业启动批处理,java,apache-flink,flink-streaming,Java,Apache Flink,Flink Streaming,嗨，我有一个关于Flink流处理的maven项目。根据我从流中得到的消息，我启动了一个批处理过程，但目前我收到了一个错误 我对弗林克这个世界很陌生，如果你有任何想法，请告诉我。下面是我用来启动独立集群的代码 final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment ( ); KafkaConsumerService kafkaConsumerServ
final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment ( );
KafkaConsumerService kafkaConsumerService= new KafkaConsumerService();
FlinkKafkaConsumer010<String> kafkaConsumer = kafkaConsumerService.getKafkaConsumer(settings );
DataStream<String> messageStream = env.addSource (kafkaConsumer).setParallelism (3);
messageStream
.filter(new MyFilter()).setParallelism(3).name("Filter")
.map(new ProcessFile(arg)).setParallelism(3).name("start batch")
.addSink(new DiscardingSink()).setParallelism(3).name("DiscardData");
env.execute("Stream processor");
... 32更多在访问我验证的环境后，我发现了问题所在。我使用的是端口未打开的JobManager的公共地址。相反，我开始使用私有IP，因为所有节点都在同一子网中，不需要向世界开放端口。希望这对其他人也有帮助
public ProcessFile(String arg) { }
@Override
public String map(String message) throws Exception {
MessageType typedmessage = ParseMessage(message);
if (isWhatIwant()) {
String[] batchArgs = createBatchArgs();
Configuration config = new Configuration();
config.setString(JobManagerOptions.ADDRESS, jobMasterHost);
config.setInteger(JobManagerOptions.PORT, jobMasterPort);
StandaloneClusterClient client = new StandaloneClusterClient(config);
client.setDetached(true);
PackagedProgram program = new PackagedProgram(new File(jarLocation), SupplyBatchJob.class.getName(), batchArgs);
client.run(program, 7);
}
return typedmessage;
}