Apache spark 为什么内存接收器被拉到驱动程序上，因此大小受到限制而变小？

为了掌握如何使用spark结构化流媒体，我发现内存接收器（+聚合的完整模式）对于jupyter笔记本或类似设备中的spark交互工作最有用

然而，它说它只适用于小的聚合表

这听起来非常尴尬，因为spark是一种大型内存数据帧的参考实现。 它是否计划支持具有所有模式（追加、完成、更新）的全尺寸内存表

目前是否有解决办法？

关于“为什么”的答案很简单-内存接收器主要是一种调试，不用于生产：

这应该用于调试目的

关于另一个问题：

它是否计划支持具有所有模式（追加、完成、更新）的全尺寸内存表

最理想的情况是，这需要对低延迟、可变表的支持，而这类结构目前不在Spark的范围内，也没有得到认真考虑（尽管存在一些尝试这一方向的专有扩展）

可以安全地假设，在不久的将来，这种选项将不存在（Spark 3.0），但当然它可能会在以后引入