Amazon s3 MemSQL列存储表磁盘与内存

我有一个带有8个m3.2x大叶节点（2x80 SSD，30GB RAM）的集群

关于我的数据：

• 我有一个数据库
• 我有一张桌子
• 我的数据驻留在s3中
• S3文件大小为250GB
• 数据被拆分为40个6GB文件

当我尝试将此数据加载到表中时，在加载大约60GB（10个文件）的数据后，导入过程失败。此时，叶MemSQL内存几乎已满（212GB）。磁盘容量为1.64TB，但仅使用约150GB

据我所知，ColumnStore表驻留在磁盘中。如果是这样的话，为什么磁盘没有填满，而叶内存正在耗尽

需要注意的几点：

• 导入过程不断尝试处理其余文件，并加载每个文件中的部分数据，但失败
• 在8个叶节点中，只有2个完全填满了内存（30GB中有27个）。其余的大约为17GB
• 我使用cloudformation设置集群，并设置了所有参数 设置为默认值

我是否配置不正确

感谢您的帮助

谢谢，

---

Ram。

您使用的是什么版本的MemSQL？我们正在进行POC，因此群集被终止。我现在不能查。。但我相信我们使用的是5.7版。我建议在v6 beta版上进行测试，在加载columnstore表的过程中内存使用情况应该更好。您应该发布用于表的DDL，以确认columnstore设置正确。