插入100万个+；行/秒进入Druid/Cassandra上的数据库

我们有大量的数据，在1秒内大约有800万行。每行有12个数值（时间戳、整数和浮点数，但没有文本）。我正在寻找流式插入，但我们可以管理批量插入，如果它可以达到的速度

查询：我们的查询基本上是聚合

我看过德鲁伊，但它不支持纳秒时间戳，这是我们绝对需要的。有人成功地克服了这个限制吗

是否有人成功地在Cassandra中每秒插入100多万行？它需要什么样的集群

---

如果需要，我可以提供更具体的信息。

我建议您研究kdb+（来自Kx系统）以获得高性能时间- 系列摄食和CEP。它的时间戳具有纳秒级的粒度

在最近的一个工业物联网应用程序中，kdb+使用一台普通服务器（2个内核），在CPU利用率较低的情况下保持每秒450万个事件的持续（7x24x365）摄取率。我们使用了kdb+的内存数据库，并对其磁盘数据库进行了频繁的写操作。不需要群集

---

投票结束，因为询问工具建议被视为“离题”。我可以编辑它来询问同一帖子中每个DBMS的问题吗？现在编辑@Aaron.Hi，谢谢你的建议。我已经看过kdb了。如果我理解正确，整个数据库都存储在内存中。在查询磁盘上而不是内存中的数据时，您对kdb有何体验？此外，如果是每秒450万个事件，那么您的一个节点是否会耗尽磁盘空间？kdb+具有内存和磁盘数据库，可以使用相同的q-sql srcipts一起查询这两个数据库。磁盘数据库（通常称为历史数据库-HDB）可以存储PBs的数据，鉴于每秒的数据量为800万行，这听起来值得您研究。我的印象是kdb的查询速度非常高，因为它将数据存储在内存中。但是，当数据被刷新到磁盘，然后您查询这个历史数据（存储在磁盘中）时，查询速度应该会明显减慢。您是否经历过这种情况？请注意，kdb+是一个列存储数据库。磁盘上的数据可以跨目录以及跨不同存储通道组织到分区中，从而在查询期间提供并行性。列也可以“编入索引”。磁盘上的数据也可以压缩，如果是传感器数据（我猜是您的），则有许多选项可以减少存储。尽管磁盘访问速度比内存慢，但如果设计得当，