Hadoop 在HDFS中,一个文件可以并发读取多少次?

Hadoop 在HDFS中,一个文件可以并发读取多少次?,hadoop,hive,Hadoop,Hive,我计划在HDFS目录中有多个XML文件,并将多个配置单元外部表指向该位置,并使用配置单元XML serde解析这些XML文件,以提取每个表的不同列集 我计划在上述配置单元外部表上并行运行一些oozie配置单元DML操作(最多15个并行操作)。我想知道将来并行执行是否会出现问题,因为可能会出现对同一XML文件的多次并发读取 在过去,我在执行oozie并行执行(最多15个并行操作)时遇到了一个保存在hdfs中的keytab文件的问题。有时,oozie操作将无法读取keytab文件,而同一工作流的其他

我计划在HDFS目录中有多个XML文件,并将多个配置单元外部表指向该位置,并使用配置单元XML serde解析这些XML文件,以提取每个表的不同列集

我计划在上述配置单元外部表上并行运行一些oozie配置单元DML操作(最多15个并行操作)。我想知道将来并行执行是否会出现问题,因为可能会出现对同一XML文件的多次并发读取

在过去,我在执行oozie并行执行(最多15个并行操作)时遇到了一个保存在hdfs中的keytab文件的问题。有时,oozie操作将无法读取keytab文件,而同一工作流的其他并行操作能够顺利读取keytab文件。我尝试将keytab文件的复制因子设置为10,但问题可能会在2个月左右出现一次

关于如何实现这种并行化而不出现问题,有什么建议吗?

AFAIK没有限制(在合理的范围内,因为Hive并发在Zookeeper中存储锁)。您不应该使用Kerberos作为指示符,因为它是不同的,并且在多个作业尝试并行更新Kerberos缓存文件时最有可能失败。