Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/azure/11.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
HDInsight:HBase还是Azure表存储?_Azure_Hadoop_Hbase_Azure Table Storage_Azure Hdinsight - Fatal编程技术网

HDInsight:HBase还是Azure表存储?

HDInsight:HBase还是Azure表存储?,azure,hadoop,hbase,azure-table-storage,azure-hdinsight,Azure,Hadoop,Hbase,Azure Table Storage,Azure Hdinsight,目前,我的团队正在创建一个使用HDInsight的解决方案。我们每天将获得5TB的数据,需要对这些数据进行一些映射/缩减工作。如果我们的数据将存储在Azure表存储而不是Azure HBase中,会不会有任何性能/成本差异?HDInsight(HBase/Hadoop)使用Azure Blob存储而不是ATS。对于您的数据存储,您将根据您的订阅仅收取适用的blob存储成本 另外,不要忘记在作业完成后删除集群,以免产生费用。您的数据将保留在BLOB存储中,并可供您构建的下一个群集使用。主要区别在于

目前,我的团队正在创建一个使用HDInsight的解决方案。我们每天将获得5TB的数据,需要对这些数据进行一些映射/缩减工作。如果我们的数据将存储在Azure表存储而不是Azure HBase中,会不会有任何性能/成本差异?

HDInsight(HBase/Hadoop)使用Azure Blob存储而不是ATS。对于您的数据存储,您将根据您的订阅仅收取适用的blob存储成本


另外,不要忘记在作业完成后删除集群,以免产生费用。您的数据将保留在BLOB存储中,并可供您构建的下一个群集使用。

主要区别在于功能和成本

Azure Table Storage本身没有连接map reduce引擎,当然您可以使用map reduce方法编写自己的应用程序

您可以使用Azure HDInsight将Map Reduce连接到表存储。这里有几个连接器,包括我写的一个,它是以配置单元为中心的,需要一些配置,可能不适合您的分区方案()和一个不太注重性能但更完整的版本,由Microsoft()的人员提供

表存储的主要优点是,您不必一直承担处理成本


如果您使用HBase,您将需要始终运行一个完整的集群,因此存在成本劣势,但是,如果您希望使用其他hadoop平台,您将获得一些功能和性能提升,此外,您还将拥有一些更具可移植性的功能。通过HBase选项,您还可以访问范围更广的分析功能。

Blob存储是主要的存储机制,但当然也可以编写StorageHandler来允许HDInsight群集处理表存储数据。