HDInsight:HBase还是Azure表存储?
目前,我的团队正在创建一个使用HDInsight的解决方案。我们每天将获得5TB的数据,需要对这些数据进行一些映射/缩减工作。如果我们的数据将存储在Azure表存储而不是Azure HBase中,会不会有任何性能/成本差异?HDInsight(HBase/Hadoop)使用Azure Blob存储而不是ATS。对于您的数据存储,您将根据您的订阅仅收取适用的blob存储成本HDInsight:HBase还是Azure表存储?,azure,hadoop,hbase,azure-table-storage,azure-hdinsight,Azure,Hadoop,Hbase,Azure Table Storage,Azure Hdinsight,目前,我的团队正在创建一个使用HDInsight的解决方案。我们每天将获得5TB的数据,需要对这些数据进行一些映射/缩减工作。如果我们的数据将存储在Azure表存储而不是Azure HBase中,会不会有任何性能/成本差异?HDInsight(HBase/Hadoop)使用Azure Blob存储而不是ATS。对于您的数据存储,您将根据您的订阅仅收取适用的blob存储成本 另外,不要忘记在作业完成后删除集群,以免产生费用。您的数据将保留在BLOB存储中,并可供您构建的下一个群集使用。主要区别在于
另外,不要忘记在作业完成后删除集群,以免产生费用。您的数据将保留在BLOB存储中,并可供您构建的下一个群集使用。主要区别在于功能和成本 Azure Table Storage本身没有连接map reduce引擎,当然您可以使用map reduce方法编写自己的应用程序 您可以使用Azure HDInsight将Map Reduce连接到表存储。这里有几个连接器,包括我写的一个,它是以配置单元为中心的,需要一些配置,可能不适合您的分区方案()和一个不太注重性能但更完整的版本,由Microsoft()的人员提供 表存储的主要优点是,您不必一直承担处理成本
如果您使用HBase,您将需要始终运行一个完整的集群,因此存在成本劣势,但是,如果您希望使用其他hadoop平台,您将获得一些功能和性能提升,此外,您还将拥有一些更具可移植性的功能。通过HBase选项,您还可以访问范围更广的分析功能。Blob存储是主要的存储机制,但当然也可以编写StorageHandler来允许HDInsight群集处理表存储数据。