Apache spark spark.cassandra.output.throughput_mb_per_sec不起作用

使用spark-cassandra-connector_2.11:2.4.0， 以下是设置

spark.cassandra.output.concurrent.writes=1,
spark.cassandra.output.throughput_mb_per_sec=0.001, (I also tried 0.01, 0.0001, 0.00001)
spark.cassandra.output.batch.size.bytes=512

我的理解是，每个任务的输出应该限制在0.001MB/s，大约1kb/s。 但是，平均任务输出在20秒内820KB，这意味着41kb/s

这是否意味着配置不起作用

---

您对此有何解释？根据，属性名称应为

spark.cassandra.output.throughputMBPerSec

。但我也在努力解决这个问题。。。编辑：在2.4.0中，它是

spark.cassandra.output.throughput\u mb\u per\u sec