Hadoop 如何将数据从Cassandra加载到HDFS？

我有一个数据驻留在ApacheCassandra中，我想使用hadoop生态系统工具执行map/reduce作业

如何将数据从Cassandra加载到HDFS

---

除了Cassandra storage handler/brisk之外，还有其他存储处理程序吗？

您可以通过多种方式来实现。编写一个MapReduce作业，从Cassandra读取数据并将其写入HDFS，或者编写一个PigLatin脚本。有关更多信息，请参见。

考虑查看此项目。这将允许您将数据从Cassandra导出到HDFS中，然后使用Pig拉丁语进行查询。

Netflix有一个名为Aegisthus的新工具试图解决这个问题

卡桑德拉的大容量数据管道。Aegisthus实现了一个读卡器 用于SSTable格式，并提供用于创建 列族中包含的数据的压缩快照

---

事实上，我们希望使用诸如hive/pig之类的生态系统工具为hadoop加载cassandra数据。实际上，由于cassandra存储处理程序，我们在访问数据时遇到了一个问题。对于Pig，它仅在本地模式下运行，我们无法在mapreduce模式下运行它。此外，我们无法通过piglatin将结果值存储回cassandra。到底是什么问题？我们希望通过hive将数据从cassandra加载到hadoop。我的cassandra、hadoop和hive是开源发行版。我希望将hiveQL查询嵌入java中。我们在使用cassandra存储处理程序访问数据时遇到问题。除了cassandra storage handler，我们还有其他选择吗。