Can'；t使用Hadoop GCS连接器在命令行中列出GCS bucket中的文件

我已经在Spark中安装了地面军事系统连接器。上周，我按照上的说明在Hadoop中安装了连接器。（注意：我使用的是相同的服务帐户，它在Spark中运行良好）

当我试图通过命令行列出GCS存储桶中的文件时，我遇到以下异常：

com.google.cloud.hadoop.repackaged.GCS.com.google.common.io.BaseEncoding$DecodingException:无法识别的字符：//

以下是我正在执行的命令

$hadoop fs-ls gs://dp德鲁伊摄取
-ls:com.google.cloud.hadoop.repackaged.gcs.com.google.common.io.BaseEncoding$DecodingException:无法识别的字符：/
用法：hadoop fs[通用选项]
[-appendToFile…]
[-cat[-ignoreCrc]…]
[-校验和…]
[-chgrp[-R]组路径…]
[-chmod[-R]路径…]
[-chown[-R][OWNER][：[GROUP]]路径…]
[-copyFromLocal[-f][-p][-l][-d][-t]…]
[-copyToLocal[-f][-p][-ignoreCrc][-crc]…]
[-count[-q][h][v][t[]][-u][-x][e].]
[-cp[-f][-p |-p[topax][-d]…]
[-createSnapshot[]]
[-deleteSnapshot]
[-df[-h][…]
[-du[-s][-h][-v][-x]…]
[-删除]
[-查找……]
[-get[-f][-p][-ignoreCrc][-crc]…]
[-getfacl[-R]]
[-getfattr[-R]{-n name |-d}[-e en]]
[-getmerge[-nl][-跳过空文件]]
[-头]
[-help[cmd…]]
[-ls[-C][-d][-h][-q][-R][-t][-S][-R][-u][-e][…]
[-mkdir[-p]…]
[-moveFromLocal…]
[-移动到本地]
[-mv…]
[-put[-f][p][l][d]…]
[-renameSnapshot]
[-rm[-f][-r |-r][-skipTrash][-safelly].]
[-rmdir[--ignore fail on non-empty]…]
[-setfacl[-R][{-b |-k}{-m |-x}].[-set]]
[-setfattr{-n name[-v value]|-x name}]
[-setrep[-R][-w]…]
[-stat[格式]…]
[-tail[-f]]
[-test-[defsz]]
[-text[-ignoreCrc]…]
[-touchz…]
[-截断[-w]…]
[-用法[cmd…]]
支持的通用选项包括：
-conf指定一个应用程序配置文件
-D定义给定属性的值
-fs指定要使用的默认文件系统URL，覆盖配置中的“fs.defaultFS”属性。
-jt指定一个ResourceManager
-文件指定要复制到map reduce群集的文件的逗号分隔列表
-libjar指定要包含在类路径中的jar文件的逗号分隔列表
-归档文件指定要在计算机上未归档的以逗号分隔的归档文件列表
通用命令行语法为：
命令[genericOptions][commandOptions]
用法：hadoop fs[通用选项]-ls[-C][-d][-h][-q][-R][-t][-S][-R][-u][-e][…]

$hdfs dfs-ls gs://dp德鲁伊摄取
-ls:com.google.cloud.hadoop.repackaged.gcs.com.google.common.io.BaseEncoding$DecodingException:无法识别的字符：/
用法：hadoop fs[通用选项]
[-appendToFile…]
[-cat[-ignoreCrc]…]
[-校验和…]
[-chgrp[-R]组路径…]
[-chmod[-R]路径…]
[-chown[-R][OWNER][：[GROUP]]路径…]
[-copyFromLocal[-f][-p][-l][-d][-t]…]
[-copyToLocal[-f][-p][-ignoreCrc][-crc]…]
[-count[-q][h][v][t[]][-u][-x][e].]
[-cp[-f][-p |-p[topax][-d]…]
[-createSnapshot[]]
[-deleteSnapshot]
[-df[-h][…]
[-du[-s][-h][-v][-x]…]
[-删除]
[-查找……]
[-get[-f][-p][-ignoreCrc][-crc]…]
[-getfacl[-R]]
[-getfattr[-R]{-n name |-d}[-e en]]
[-getmerge[-nl][-跳过空文件]]
[-头]
[-help[cmd…]]
[-ls[-C][-d][-h][-q][-R][-t][-S][-R][-u][-e][…]
[-mkdir[-p]…]
[-moveFromLocal…]
[-移动到本地]
[-mv…]
[-put[-f][p][l][d]…]
[-renameSnapshot]
[-rm[-f][-r |-r][-skipTrash][-safelly].]
[-rmdir[--ignore fail on non-empty]…]
[-setfacl[-R][{-b |-k}{-m |-x}].[-set]]
[-setfattr{-n name[-v value]|-x name}]
[-setrep[-R][-w]…]
[-stat[格式]…]
[-tail[-f]]
[-test-[defsz]]
[-text[-ignoreCrc]…]
[-touchz…]
[-截断[-w]…]
[-用法[cmd…]]
支持的通用选项包括：
-conf指定一个应用程序配置文件
-D定义给定属性的值
-fs指定要使用的默认文件系统URL，覆盖配置中的“fs.defaultFS”属性。
-jt指定一个ResourceManager
-文件指定要复制到map reduce群集的文件的逗号分隔列表
-libjar指定要包含在类路径中的jar文件的逗号分隔列表
-归档文件指定要在计算机上未归档的以逗号分隔的归档文件列表
通用命令行语法为：
命令[genericOptions][commandOptions]
用法：hadoop fs[通用选项]-ls[-C][-d][-h][-q][-R][-t][-S][-R][-u][-e][…]

群集信息。

• Hadoop版本：v3.1.0
• 地面军事系统连接器版本：v2.1.4
• 使用Dataproc：不，我使用的是内部Hadoop

---

有几个问题吗？Hadoop和连接器的版本是什么？你在运行Dataproc吗？好问题@DavidRabinowitz我已经更新了问题的主体。你是否打印HADOOP_类路径以确保GCS连接器jar的路径确实包含在内？1）你是否使用HADOOP 3版本的GCS连接器？2） 您可以使用gsutil（

gsutil ls gs://dp druid inspection

）列出此桶的内容吗？3） 您是否可以尝试在Dataproc集群中重新编程，以了解这是Hadoop环境问题还是GCS连接器问题？4）您是否可以使用调试日志运行此命令，如中所述？