Hadoop 如何向Tez添加其他库以支持不同的HDFS后端?

Hadoop 如何向Tez添加其他库以支持不同的HDFS后端?,hadoop,hive,azure-hdinsight,tez,Hadoop,Hive,Azure Hdinsight,Tez,当我使用MapReduce作为配置单元后面的执行引擎时,我可以使用defaultFS.impl的备用后端。使用与以下类似的语法: 位置'protocol://address:port/dir'; 我想使用Tez执行引擎而不是MapReduce,但不知道在哪里添加垫片库(jar文件),以便Tez识别我的新协议 这些放在哪个目录里?我需要向tez-site.conf添加指令吗 其他投入: Vertex failed, vertexName=Map 6, vertexId=vertex_150479

当我使用MapReduce作为配置单元后面的执行引擎时,我可以使用defaultFS.impl的备用后端。使用与以下类似的语法:

位置'protocol://address:port/dir';

我想使用Tez执行引擎而不是MapReduce,但不知道在哪里添加垫片库(jar文件),以便Tez识别我的新协议

这些放在哪个目录里?我需要向tez-site.conf添加指令吗

其他投入:

Vertex failed, vertexName=Map 6, 
vertexId=vertex_1504790331090_0003_1_01, diagnostics=[Vertex 
vertex_1504790331090_0003_1_01 [Map 6] killed/failed due 
to:ROOT_INPUT_INIT_FA
ILURE, Vertex Input: item initializer failed, 
vertex=vertex_1504790331090_0003_1_01 [Map 6], 
java.lang.RuntimeException: java.lang.ClassNotFoundException: Class 
org.apache.
hadoop.fs.nfs.NFSv3FileSystem not found
    at 
org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2241)
    at         org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2780)
    at     org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2793)
    at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:99)
    at     org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2829)
    at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2811)
    at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:390)
    at org.apache.hadoop.fs.Path.getFileSystem(Path.java:295)
    at org.apache.hadoop.hive.ql.io.orc.OrcInputFormat.generateSplitsInfo(OrcInputFormat.java:1227)
    at org.apache.hadoop.hive.ql.io.orc.OrcInputFormat.getSplits(OrcInputFormat.java:1285)
    at org.apache.hadoop.hive.ql.io.HiveInputFormat.addSplitsForGroup(HiveInputFormat.java:307)
    at org.apache.hadoop.hive.ql.io.HiveInputFormat.getSplits(HiveInputFormat.java:409)
    at org.apache.hadoop.hive.ql.exec.tez.HiveSplitGenerator.initialize(HiveSplitGenerator.java:155)
    at org.apache.tez.dag.app.dag.RootInputInitializerManager$InputInitializerCallable$1.run(RootInputInitializerManager.java:273).....
我已将NFS连接器jar文件添加到/usr/hdp//hiveserver2/lib,并重新启动了配置单元服务器。我还将aux路径添加到了hive-conf.xml:

<property>
  <name>hive.aux.jars.path</name>
  <value>file:///netappnfs/hadoop-nfs-connector-2.0.0.jar</value>
</property>

hive.aux.jars.path
file:///netappnfs/hadoop-nfs-connector-2.0.0.jar
我想我需要加载类,但不确定如何在Hive中加载。在通用hadoop中,其加载了:

      <name>fs.AbstractFileSystem.nfs.impl</name>
  <value>org.apache.hadoop.fs.nfs.NFSv3AbstractFilesystem</value>
fs.AbstractFileSystem.nfs.impl
org.apache.hadoop.fs.nfs.NFSv3AbstractFilesystem
Hive是否有任何等价物?

将jar详细信息添加到(/etc/Hive/conf)

属性>
hive.aux.jars.path
file:///location/fle.jar

重新启动配置单元

是否需要识别HDFS兼容文件系统的新协议?我不认为只有配置单元版本才应该兼容。我将用我仍然看到的错误修正我的原始问题。
property>
  <name>hive.aux.jars.path</name>
  <value>file:///location/fle.jar</value>
</property>