使用HDInsight的Azure Blob存储是否在完整的行上拆分文件?

使用HDInsight的Azure Blob存储是否在完整的行上拆分文件?,azure,hadoop,azure-hdinsight,Azure,Hadoop,Azure Hdinsight,如果我使用ASV为HDInsight存储文件,然后编写MapReduce函数,那么当这些文件被拆分以供集群处理时,系统是否能够在完整的数据行上整齐地拆分这些文件?为了确保文件中的一行数据不跨越文件块的边界,并且由于一部分数据被传递到一个数据节点,另一部分数据被传递到另一个数据节点而变得不可读,是否需要任何特殊的方法 如果是,它是如何做到这一点的?我在其他地方找到了答案,答案是肯定的,HDInsight系统在从分布式文件系统读取时有一个步骤,它将协商每个片段文件中完整行的结尾

如果我使用ASV为HDInsight存储文件,然后编写MapReduce函数,那么当这些文件被拆分以供集群处理时,系统是否能够在完整的数据行上整齐地拆分这些文件?为了确保文件中的一行数据不跨越文件块的边界,并且由于一部分数据被传递到一个数据节点,另一部分数据被传递到另一个数据节点而变得不可读,是否需要任何特殊的方法


如果是,它是如何做到这一点的?

我在其他地方找到了答案,答案是肯定的,HDInsight系统在从分布式文件系统读取时有一个步骤,它将协商每个片段文件中完整行的结尾