Apache spark 在AKS上部署时，无法将Spark History Server的日志目录配置为存储Blob

我试图在AKS上部署Spark History Server，并希望将其日志目录指向存储Blob。为了实现这一点，我将配置放在values.yaml文件中，如下所示：-

wasbs:
  enableWASBS: true
  secret: azure-secrets
  sasKeyMode: false
  storageAccountKeyName: azure-storage-account-key
  storageAccountNameKeyName: azure-storage-account-name
  containerKeyName:  azure-blob-container-name
  logDirectory: wasbs:///test/piyush/spark-history

pvc:
  enablePVC: false
nfs:
  enableExampleNFS: false

首先，我使用以下命令创建azure机密：-

kubectl create secret generic azure-secrets --from-file=azure-storage-account-name --from-file=azure-blob-container-name --from-file=azure-storage-account-key

之后，我将运行以下一组命令：-

helm repo add stable https://kubernetes-charts.storage.googleapis.com
helm install stable/spark-history-server --values values.yaml --generate-name

但在执行go时，我得到以下错误：-

2020-10-05 19:17:56 INFO  HistoryServer:2566 - Started daemon with process name: 12@spark-history-server-1601925447-57c5476fb-5wh6q
2020-10-05 19:17:56 INFO  SignalUtils:54 - Registered signal handler for TERM
2020-10-05 19:17:56 INFO  SignalUtils:54 - Registered signal handler for HUP
2020-10-05 19:17:56 INFO  SignalUtils:54 - Registered signal handler for INT
2020-10-05 19:17:56 WARN  NativeCodeLoader:62 - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
2020-10-05 19:17:56 INFO  SecurityManager:54 - Changing view acls to: root
2020-10-05 19:17:56 INFO  SecurityManager:54 - Changing modify acls to: root
2020-10-05 19:17:56 INFO  SecurityManager:54 - Changing view acls groups to:
2020-10-05 19:17:56 INFO  SecurityManager:54 - Changing modify acls groups to:
2020-10-05 19:17:56 INFO  SecurityManager:54 - SecurityManager: authentication disabled; ui acls disabled; users  with view permissions: Set(root); groups with view permissions: Set(); users  with modify permissions: Set(root); groups with modify permissions: Set()
2020-10-05 19:17:56 INFO  FsHistoryProvider:54 - History server ui acls disabled; users with admin permissions: ; groups with admin permissions
Exception in thread "main" java.lang.reflect.InvocationTargetException
        at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
        at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
        at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
        at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
        at org.apache.spark.deploy.history.HistoryServer$.main(HistoryServer.scala:280)
        at org.apache.spark.deploy.history.HistoryServer.main(HistoryServer.scala)
Caused by: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apache.hadoop.fs.azure.NativeAzureFileSystem not found
        at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2195)
        at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2654)
        at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2667)
        at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:94)
        at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2703)
        at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2685)
        at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:373)
        at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:364)
        at org.apache.hadoop.fs.Path.getFileSystem(Path.java:295)
        at org.apache.spark.deploy.history.FsHistoryProvider.<init>(FsHistoryProvider.scala:117)
        at org.apache.spark.deploy.history.FsHistoryProvider.<init>(FsHistoryProvider.scala:86)
        ... 6 more
Caused by: java.lang.ClassNotFoundException: Class org.apache.hadoop.fs.azure.NativeAzureFileSystem not found
        at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:2101)
        at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2193)
        ... 16 more

2020-10-05 19:17:56信息历史服务器：2566-已启动进程名为的守护程序：12@spark-历史记录-服务器-1601925447-57c5476fb-5wh6q
2020-10-05 19:17:56信息信号处理程序：54-术语注册信号处理程序
2020-10-05 19:17:56信息信号处理程序：54-HUP的注册信号处理程序
2020-10-05 19:17:56信息信号处理程序：54-注册的INT信号处理程序
2020-10-05 19:17:56警告NativeCodeLoader:62-无法为您的平台加载本机hadoop库。。。在适用的情况下使用内置java类
2020-10-05 19:17:56信息安全管理器：54-将视图ACL更改为：root
2020-10-05 19:17:56信息安全管理器：54-将修改ACL更改为：root
2020-10-05 19:17:56信息安全管理器：54-将视图ACL组更改为：
2020-10-05 19:17:56信息安全管理器：54-将修改ACL组更改为：
2020-10-05 19:17:56信息安全管理器：54-安全管理器：身份验证已禁用；ui ACL被禁用；具有查看权限的用户：Set（root）；具有查看权限的组：Set（）；具有修改权限的用户：Set（root）；具有修改权限的组：Set（）
2020-10-05 19:17:56信息FsHistoryProvider:54-历史服务器ui ACL已禁用；具有管理员权限的用户：；具有管理员权限的组
线程“main”java.lang.reflect.InvocationTargetException中出现异常
位于sun.reflect.NativeConstructorAccessorImpl.newInstance0（本机方法）
位于sun.reflect.NativeConstructorAccessorImpl.newInstance（NativeConstructorAccessorImpl.java:62）
在sun.reflect.DelegatingConstructorAccessorImpl.newInstance（DelegatingConstructorAccessorImpl.java:45）
位于java.lang.reflect.Constructor.newInstance（Constructor.java:423）
位于org.apache.spark.deploy.history.HistoryServer$.main（HistoryServer.scala:280）
位于org.apache.spark.deploy.history.HistoryServer.main（HistoryServer.scala）
原因：java.lang.RuntimeException:java.lang.ClassNotFoundException:Class org.apache.hadoop.fs.azure.NativeAzureFileSystem未找到
位于org.apache.hadoop.conf.Configuration.getClass（Configuration.java:2195）
位于org.apache.hadoop.fs.FileSystem.getFileSystemClass（FileSystem.java:2654）
位于org.apache.hadoop.fs.FileSystem.createFileSystem（FileSystem.java:2667）
位于org.apache.hadoop.fs.FileSystem.access$200（FileSystem.java:94）
位于org.apache.hadoop.fs.FileSystem$Cache.getInternal（FileSystem.java:2703）
位于org.apache.hadoop.fs.FileSystem$Cache.get（FileSystem.java:2685）
位于org.apache.hadoop.fs.FileSystem.get（FileSystem.java:373）
位于org.apache.hadoop.fs.FileSystem.get（FileSystem.java:364）
位于org.apache.hadoop.fs.Path.getFileSystem（Path.java:295）
位于org.apache.spark.deploy.history.FsHistoryProvider。（FsHistoryProvider.scala:117）
位于org.apache.spark.deploy.history.FsHistoryProvider。（FsHistoryProvider.scala:86）
... 还有6个
原因：java.lang.ClassNotFoundException:Class org.apache.hadoop.fs.azure.NativeAzureFileSystem未找到
位于org.apache.hadoop.conf.Configuration.getClassByName（Configuration.java:2101）
位于org.apache.hadoop.conf.Configuration.getClass（Configuration.java:2193）
... 还有16个

任何形式的帮助或建议都将不胜感激

提前谢谢