Apache spark spark 2.1下火花流批次的固定21s持续时间，spark 2.0下无

是什么原因导致Spark 2.1下流式处理的固定21秒持续时间？

在Spark 2.1下，具有少量块（396）的流式批次，其持续时间均大于21s。。。只有几个不到21秒

卡夫卡版本：0.10.0.0，Spark版本：2.1.0 spark-streaming-kafka-0-10-assembly_2.11-2.1.0.jar

a） 在使用Spark 2.1.0的dev env下，情况也一样糟糕，流式数据少得多，使用0条记录排队等待大量活动批次

---

b） 同样的任务在Spark 2.0.2下可以正常工作，所有依赖的jar都是，，在Spark 2.1.0下-有21s+的持续时间-它不应该总是需要这么长的持续时间。

你的问题是什么？哪个任务导致批处理排队？您可能在导致此暂停的任务之一中出错。在spark 2.0.2下，一切正常。在spark 2.1I中未发现指定错误。我在spark 2.1.0中遇到过相同的问题，而不是在spark 2.0.2中遇到的问题。几个小时后，我的工作滞后，一些分区需要21秒才能完成，而不是2/3秒。我认为已经引入了一个与spark和kafka consumer的回归，这会导致已使用分区超时。在spark 2.2 Snapshot下，不再有活动批次排队了。您的问题是什么？哪个任务导致批次排队？您可能在导致此暂停的任务之一中出错。在spark 2.0.2下，一切正常。在spark 2.1I中未发现指定错误。我在spark 2.1.0中遇到过相同的问题，而不是在spark 2.0.2中遇到的问题。几个小时后，我的工作滞后，一些分区需要21秒才能完成，而不是2/3秒。我认为已经引入了一个与spark和kafka consumer的回归，这会导致已使用分区超时。在spark 2.2快照下，不再有活动批排队