Java 从Microsoft Azure中提取JSON文档并将其推入卡夫卡的最佳方式是什么？

我有150 TB的JSON文档存储在我的个人windows驱动程序中。我正在将这些驱动程序移动到Microsoft Azure存储帐户。我想把那个JSON数据放到卡夫卡上。从卡夫卡我想用卡夫卡沙发连接器推到沙发间。最好的方法和程序是什么？（记住数据的复制）

Azure-->Kafka-->Couchbase

或者Azure->Couchbase

---

或者Windows驱动程序-->Couchbase

根据您的需要，我为您提供两种选择

第一个选项，您可以创建自己的程序，从Azure Blob存储获取数据并将数据推送到Kafka。您可以使用

WebJob

在Azure Web App服务中运行它

此选项耗时，但成本较低。 您可以参考下面的代码片段，或者从中获得有关通过java将数据推送到kafka的更多详细信息

第二个选项，在该选项中，您可以使用Azure HDInsight服务并按照以下语法访问存储在Azure Blob存储中的数据：

wasb[s]：//@将Json数据从HDInsight推送到卡夫卡

此选项节省时间，但成本更高

您也可以参考SO线程，根据需要从两个选项中选择一个

希望它能帮助您。
这将用Java完成吗？想知道为什么要加标签吗