Cassandra 卡桑德拉批量装载数据

我有一个系统，生成100000行/秒，每行大小为1KB，并希望使用Cassandra作为数据库。 我从ApacheKafka获取数据，然后应该将其插入数据库。

---

将这卷数据加载到Cassandra中的最佳方式是什么？

卡夫卡连接就是为此而设计的。在此页面上，您将找到一个连接器列表，其中包括Cassandra接收器连接器

将数据拆分为批。最好批量大小为1000，并将数据写入cassandra db。我从kafka获得CSV消息。似乎连接器可以使用avro格式。我是真的吗？不确定CSV消息，但除了avro之外，json也是可行的：老实说，编写类似于streams的应用程序，将CSV转换为json或avro，然后将其写出一个新的主题，可以将其引入Cassandra，可能会更容易。您也可以为CSV编写自己的转换器，或者尝试Kafka附带的StringConverter。不确定这对Cassandra的效果如何，但这些选项中的任何一个都比编写自己的完整应用程序容易。从CSV到JSON或AVRO的数据转换可以在一个小型Apache CAMEL模块中轻松实现。它支持卡夫卡连接，因此您可以像@dawsaw提到的那样从卡夫卡读取、转换并回写到卡夫卡。您还可以根据需要对其进行缩放。