Java 从本地Spark作业连接到Azure Data Lake Gen 2

我正在尝试从本地Spark作业连接到我的ADLS Gen 2 data lake，以读取一些Databricks delta表，我以前通过Databricks笔记本存储这些表，但我遇到了一个非常奇怪的异常，我无法解决：

Exception in thread "main" java.io.IOException: There is no primary group for UGI <xxx> (auth:SIMPLE)
    at org.apache.hadoop.security.UserGroupInformation.getPrimaryGroupName(UserGroupInformation.java:1455)
    at org.apache.hadoop.fs.azurebfs.AzureBlobFileSystemStore.<init>(AzureBlobFileSystemStore.java:136)
    at org.apache.hadoop.fs.azurebfs.AzureBlobFileSystem.initialize(AzureBlobFileSystem.java:108)
    at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:3303)
    at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:124)
    at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:3352)
    at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:3320)
    at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:479)
    at org.apache.hadoop.fs.Path.getFileSystem(Path.java:361)
    at org.apache.spark.sql.delta.DeltaTableUtils$.findDeltaTableRoot(DeltaTable.scala:94)

---

ADLS Gen2需要Hadoop 3.2、Spark 3.0.0和Delta Lake 0.7.0。这些要求记录在

ADLS Gen2 Hadoop连接器仅在Hadoop 3.2.0中可用，Spark 3.0.0是第一个支持Hadoop 3.2的Spark版本

---

Databricks Runtime 6.x和旧版本运行Hadoop 2.7和Spark 2.4，但ADLS Gen2 Hadoop connector在内部被后端口到这个旧的Hadoop版本。这就是为什么Delta Lake不升级到Spark 3.0.0就可以在Databricks中工作。

我在Spark 3.0.0 Hadoop 3.2.0和Delta 0.7.0中遇到了同样的问题

 try(final SparkSession spark = SparkSession.builder().appName("DeltaLake").master("local[*]").getOrCreate()) {
            //spark.conf().set("spark.hadoop.hive.server2.enable.doAs", "false");
            spark.conf().set("fs.azure.account.key.stratify.dfs.core.windows.net", "my gen 2 key");
            spark.read().format("delta").load("abfss://myfs@myaccount.dfs.core.windows.net/Test");
}