Apache flink 处理大量数据时缺少flink日志
我正在测试flink处理不同数量数据的性能,因此我需要作业运行时来记录和分析 当我使用flink处理一个小数据集(比如一万条记录)时,我可以得到如下的作业运行时日志Apache flink 处理大量数据时缺少flink日志,apache-flink,Apache Flink,我正在测试flink处理不同数量数据的性能,因此我需要作业运行时来记录和分析 当我使用flink处理一个小数据集(比如一万条记录)时,我可以得到如下的作业运行时日志 07/18/2017 17:41:47 DataSink (collect())(1/1) switched to FINISHED 07/18/2017 17:41:47 Job execution switched to status FINISHED. Program execution finished Job with J
07/18/2017 17:41:47 DataSink (collect())(1/1) switched to FINISHED
07/18/2017 17:41:47 Job execution switched to status FINISHED.
Program execution finished
Job with JobID 3f7658725aaae8cd3427d2aad921f2ef has finished.
Job Runtime: 1124 ms
Accumulator Results:
- c28953fb854da74d18dc7c168b988ca2 (java.util.ArrayList) [15433 elements]
但当我使用flink处理一个稍大一点的数据集(如50000条记录)时,我无法获得作业运行时信息,如下所示,shell出现了问题:
07/18/2017 17:49:33 DataSink (collect())(1/1) switched to FINISHED
07/18/2017 17:49:33 Job execution switched to status FINISHED.
是否有任何配置需要修改
当数据集更大时,为什么外壳会卡住
希望有人能回答我的疑问。谢谢~Flink使用Akka进行远程通信,累加器结果将作为一条消息发送回客户端。Akka设置了最大消息大小,您可能已经达到了限制。一些建议:
akka.framesize
。有关更多信息,请参阅我增加了akka.framesize,问题解决了。谢谢~