Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Performance 火花批处理持续时间显示高于实际执行时间_Performance_Apache Spark_Apache Kafka_Spark Streaming - Fatal编程技术网

Performance 火花批处理持续时间显示高于实际执行时间

Performance 火花批处理持续时间显示高于实际执行时间,performance,apache-spark,apache-kafka,spark-streaming,Performance,Apache Spark,Apache Kafka,Spark Streaming,我正在运行Spark Streaming作业,一直在努力获得正确的吞吐量。下面是关于这项工作的一些细节 Batch window: 30 seconds Processing 5 kafka topic with 20 partition each Kafka per message size 100 to 300 bytes 10 executor 3GB memory each A driver with 4GB nmemory Backpressure is enabled Expecte

我正在运行Spark Streaming作业,一直在努力获得正确的吞吐量。下面是关于这项工作的一些细节

Batch window: 30 seconds
Processing 5 kafka topic with 20 partition each
Kafka per message size 100 to 300 bytes
10 executor 3GB memory each
A driver with 4GB nmemory
Backpressure is enabled
Expected throughput 4000 - 6000 messages/seconds
Spark job is writing data to flume and Axibase socket 
我观察到每批的处理时间超过30秒(34、35、36秒或更长),但当我查看每批时,持续时间显示为15到20秒。 不确定是什么原因导致此未匹配,因为总体批处理时间高于批处理窗口。工作正在排队


如果您能在这里帮助确定问题,我们将不胜感激。提前感谢

如果不进一步了解图形的定义,我们将无能为力。能否在Spark UI中添加“流”选项卡的屏幕截图?我是Axibase开发团队的成员。如果此问题需要技术支持,请通过告知我们。