Apache flink 处理大量数据时缺少flink日志

Apache flink 处理大量数据时缺少flink日志,apache-flink,Apache Flink,我正在测试flink处理不同数量数据的性能,因此我需要作业运行时来记录和分析 当我使用flink处理一个小数据集(比如一万条记录)时,我可以得到如下的作业运行时日志 07/18/2017 17:41:47 DataSink (collect())(1/1) switched to FINISHED 07/18/2017 17:41:47 Job execution switched to status FINISHED. Program execution finished Job with J

我正在测试flink处理不同数量数据的性能,因此我需要作业运行时来记录和分析

当我使用flink处理一个小数据集(比如一万条记录)时,我可以得到如下的作业运行时日志

07/18/2017 17:41:47 DataSink (collect())(1/1) switched to FINISHED
07/18/2017 17:41:47 Job execution switched to status FINISHED.
Program execution finished
Job with JobID 3f7658725aaae8cd3427d2aad921f2ef has finished.
Job Runtime: 1124 ms
Accumulator Results:
- c28953fb854da74d18dc7c168b988ca2 (java.util.ArrayList) [15433 elements]
但当我使用flink处理一个稍大一点的数据集(如50000条记录)时,我无法获得作业运行时信息,如下所示,shell出现了问题:

07/18/2017 17:49:33 DataSink (collect())(1/1) switched to FINISHED
07/18/2017 17:49:33 Job execution switched to status FINISHED.
是否有任何配置需要修改

当数据集更大时,为什么外壳会卡住


希望有人能回答我的疑问。谢谢~

Flink使用Akka进行远程通信,累加器结果将作为一条消息发送回客户端。Akka设置了最大消息大小,您可能已经达到了限制。一些建议:

  • 检查JobManager日志中与Akka相关的错误消息
  • 通过Flink配置增加最大尺寸,例如,
    akka.framesize
    。有关更多信息,请参阅

  • 我增加了akka.framesize,问题解决了。谢谢~