Amazon ec2 为什么卡桑德拉有时要花几个小时才能开始？

我在ec2运行一个26节点的集群，分布在4个地区——美国东部1、美国西部2、欧盟西部1和亚太东南1。我注意到，有时节点需要很长时间才能启动，在ap-1中问题似乎特别严重。例如，今天只需重新启动一个节点就需要4个多小时。发生这种情况时，cassandra记录的最后一件事（system.log）是：

最后，我开始初始化我自己的专栏族，但我不明白为什么要花这么长时间。这个节点上有大约900G的数据，使用3.2T EBS卷

虽然这种情况正在发生，但资源争用似乎很少。网络i/o似乎没有超过1Mb/s。数据量和提交日志基本上都有0 i/o。CPU使用率在25%-50%的范围内。查看

strace

，似乎有大量的

getdents

系统调用，但这似乎不会导致问题

什么能解释这么长的启动时间

群集信息

• 卡桑德拉DDC 3.5
• EC2多区域监视
• m4.xlarge，移动到c4.4xlarge

模式信息

• 3个CF，所有“一次写入”（即无更新），1周ttl，STC（默认）
• 没有二级索引

---

您正在使用二级索引吗？它可能会花费时间重播您的提交日志，但这不会花费一个小时。我注意到，3.x的一些版本存在提交日志可能损坏的问题，但这通常会阻止节点启动并很快失败。你能升级到3.9，看看你是否有同样的问题吗？用一些模式信息更新了问题（没有二级索引）。我可以尝试升级到3.9，但问题并不是每次都会出现，所以可能需要一些时间才能说解决了。运行单个3.9节点时，还有大约25个其他节点仍在3.5上，这样安全吗？升级到3.9似乎并没有解决sstables上的问题，它可能类似于（我最近修复了）或（尚未构建）。是否使用二级索引？它可能会花时间重播您的提交日志，但这不需要一个小时。我注意到，3.x的一些版本存在提交日志可能损坏的问题，但这通常会阻止节点启动并很快失败。你能升级到3.9，看看你是否有同样的问题吗？用一些模式信息更新了问题（没有二级索引）。我可以尝试升级到3.9，但问题并不是每次都会出现，所以可能需要一些时间才能说解决了。在3.5上运行单个3.9节点和大约25个其他节点是否安全？升级到3.9似乎并没有解决sstables上的问题，它可能类似于（我最近修复了）或（尚未构建）。

INFO  [main] 2016-10-19 20:35:14,846 ColumnFamilyStore.java:395 - Initializing system_schema.indexes