Azure 我们可以为ATS使用HDInsight服务吗？
我们有一个名为Xtrace的日志记录系统。我们使用该系统在SQLAzure数据库中转储日志、异常、跟踪等。Ops团队然后使用这些数据进行调试，用于SCOM目的。考虑到SQLAzure的150GB限制，我们正在考虑使用HDInsight（大数据）服务Azure 我们可以为ATS使用HDInsight服务吗？,azure,azure-sql-database,azure-hdinsight,Azure,Azure Sql Database,Azure Hdinsight,我们有一个名为Xtrace的日志记录系统。我们使用该系统在SQLAzure数据库中转储日志、异常、跟踪等。Ops团队然后使用这些数据进行调试，用于SCOM目的。考虑到SQLAzure的150GB限制，我们正在考虑使用HDInsight（大数据）服务 如果我们将数据转储到Azure表存储中，HDInsight服务是否会对ATS起作用 或者它只对blob存储起作用，这意味着日志记录需要在blob存储上创建为文件 最后一个问题。考虑到我上面解释的场景，它是使用HDInsight服务的好选择吗 HDI
HDInsight将使用HDFS或通过Azure storage Vault（ASV）映射到HDFS的blob存储中的内容，后者有效地在blob存储之上提供了一个HDFS层。后者是推荐的方法，因为您可以将大量内容写入blob存储，并且可以很好地映射到文件系统中，稍后HDInsight作业可以使用该文件系统。这对于日志/跟踪之类的东西非常有用。想象一下，在一个特定的容器中，每小时编写一次日志来分隔blob。然后，您将创建HDInsight群集，并将其连接到同一存储帐户。然后，指定输入目录变得非常简单，它映射到指定存储容器中的文件，然后就可以开始了 您还可以将数据存储在Windows Azure SQL DB（传统命名：“SQL Azure”）中，并使用名为Sqoop的工具将数据直接从SQL DB导入HDFS进行处理。但是，您将有您在问题中提到的150GB限制 没有从表存储到HDFS的内置映射；您需要创建某种类型的转换器，以便从表存储中读取数据并写入文本文件以进行处理（但我认为直接写入文本文件将更有效，无需为HDInsight处理做大量读/写准备）。当然，如果您正在对日志数据执行非HDInsight查询，那么最初将数据存储到表存储，然后在启动HDInsight作业时提取所需的特定数据确实是有益的
Azure门户上有一些内容提供了有关HDFS+Azure Storage Vault的更多详细信息。HDInsight将使用HDFS中的内容，或者使用通过Azure Storage Vault（ASV）映射到HDFS的blob存储中的内容，后者有效地在blob存储之上提供了一个HDFS层。后者是推荐的方法，因为您可以将大量内容写入blob存储，并且可以很好地映射到文件系统中，稍后HDInsight作业可以使用该文件系统。这对于日志/跟踪之类的东西非常有用。想象一下，在一个特定的容器中，每小时编写一次日志来分隔blob。然后，您将创建HDInsight群集，并将其连接到同一存储帐户。然后，指定输入目录变得非常简单，它映射到指定存储容器中的文件，然后就可以开始了 您还可以将数据存储在Windows Azure SQL DB（传统命名：“SQL Azure”）中，并使用名为Sqoop的工具将数据直接从SQL DB导入HDFS进行处理。但是，您将有您在问题中提到的150GB限制 没有从表存储到HDFS的内置映射；您需要创建某种类型的转换器，以便从表存储中读取数据并写入文本文件以进行处理（但我认为直接写入文本文件将更有效，无需为HDInsight处理做大量读/写准备）。当然，如果您正在对日志数据执行非HDInsight查询，那么最初将数据存储到表存储，然后在启动HDInsight作业时提取所需的特定数据确实是有益的
Azure门户网站上有一些内容提供了有关HDFS+Azure Storage Vault的更多详细信息。上面的答案对于Azure表存储部分来说有点误导。无需先将ATS内容写入文本文件，然后再处理文本文件。相反，可以编写标准的Hadoop InputFormat或Hive StorageHandler，直接从ATS读取。此时，至少有两种实现可用：