Apache spark 为什么有隐藏的火花流属性？

我刚刚开始学习Spark，有很多事情让我感到震惊。其中一个最简单的问题是，似乎存在Spark流媒体属性，但他们并没有在文档中公开这些属性

我在查看超时异常时遇到了一个这样的属性，它实际上关闭了我的块管理器并让我的接收器运行（这是一个我还没有弄清楚的疯狂行为）。另一个用户描述了相同的异常。我查看了Spark文档中缺少的一些上面提到的配置

以下是公认答案建议签出的（超级机密）属性：

spark.streaming.driver.writeAheadLog.allowBatching true 
spark.streaming.driver.writeAheadLog.batchingTimeout 15000

为什么没有记录这些其他属性？我听说这在Spark中很常见。这是真的吗？

我不能告诉你这是否是“真的”，但我只能分享我的经验，我在Spark中没有遇到许多未记录的部件

对我帮助很大的还有Jacek Laskowski的GitHub书

由于Spark是开源的，您始终有机会：

• 贡献缺少的文档部分
• 扫描源代码（然而，寻找你事先不知道存在的东西将是一项挑战）

---

这些似乎是spark 1.6独有的，而不是最新版本。我看到的是master中的参考