Scala 使用Spark 2.4从Azure Data Lake Storage V2读取文件

我正在尝试在mac上的IntelliJ IDE上读取一个简单的csv文件Azure Data Lake Storage V2和Spark 2.4

代码如下

package com.example

import org.apache.spark.SparkConf
import org.apache.spark.sql._



object Test extends App {

  val appName: String = "DataExtract"
  val master: String = "local[*]"
  val sparkConf: SparkConf = new SparkConf()
    .setAppName(appName)
    .setMaster(master)
    .set("spark.scheduler.mode", "FAIR")
    .set("spark.sql.session.timeZone", "UTC")
    .set("spark.sql.shuffle.partitions", "32")
    .set("fs.defaultFS", "abfs://development@xyz.dfs.core.windows.net/")
    .set("fs.azure.account.key.xyz.dfs.core.windows.net", "~~key~~")


  val spark: SparkSession = SparkSession
    .builder()
    .config(sparkConf)
    .getOrCreate()
  spark.time(run(spark))


def run(spark: SparkSession): Unit = {

  val df = spark.read.csv("abfs://development@xyz.dfs.core.windows.net/development/sales.csv")
  df.show(10)

}

}

它能够读取，并引发安全异常

Exception in thread "main" java.lang.NullPointerException
    at org.wildfly.openssl.CipherSuiteConverter.toJava(CipherSuiteConverter.java:284)
    at org.wildfly.openssl.OpenSSLEngine.toJavaCipherSuite(OpenSSLEngine.java:1094)
    at org.wildfly.openssl.OpenSSLEngine.getEnabledCipherSuites(OpenSSLEngine.java:729)
    at org.wildfly.openssl.OpenSSLContextSPI.getCiphers(OpenSSLContextSPI.java:333)
    at org.wildfly.openssl.OpenSSLContextSPI$1.getSupportedCipherSuites(OpenSSLContextSPI.java:365)
    at org.apache.hadoop.fs.azurebfs.utils.SSLSocketFactoryEx.<init>(SSLSocketFactoryEx.java:105)
    at org.apache.hadoop.fs.azurebfs.utils.SSLSocketFactoryEx.initializeDefaultFactory(SSLSocketFactoryEx.java:72)
    at org.apache.hadoop.fs.azurebfs.services.AbfsClient.<init>(AbfsClient.java:79)
    at org.apache.hadoop.fs.azurebfs.AzureBlobFileSystemStore.initializeClient(AzureBlobFileSystemStore.java:817)
    at org.apache.hadoop.fs.azurebfs.AzureBlobFileSystemStore.<init>(AzureBlobFileSystemStore.java:149)
    at org.apache.hadoop.fs.azurebfs.AzureBlobFileSystem.initialize(AzureBlobFileSystem.java:108)

线程“main”java.lang.NullPointerException中的异常 位于org.wildfly.openssl.CipherSuiteConverter.toJava（CipherSuiteConverter.java:284） 位于org.wildfly.openssl.OpenSSLEngine.toJavaCipherSuite（OpenSSLEngine.java:1094） 位于org.wildfly.openssl.OpenSSLEngine.getEnablediPhone套件（OpenSSLEngine.java:729） 位于org.wildfly.openssl.OpenSSLContextSPI.getCiphers（OpenSSLContextSPI.java:333） 位于org.wildfly.openssl.OpenSSLContextSPI$1.getSupportedCipherSuite（OpenSSLContextSPI.java:365） 位于org.apache.hadoop.fs.azurebfs.utils.SSLSocketFactoryEx（SSLSocketFactoryEx.java:105） 在org.apache.hadoop.fs.azurebfs.utils.SSLSocketFactoryEx.initializeDefaultFactory（SSLSocketFactoryEx.java:72） 位于org.apache.hadoop.fs.azurebfs.services.AbfsClient.（AbfsClient.java:79） 位于org.apache.hadoop.fs.azurebfs.AzureBlobFileSystemStore.initializeClient（AzureBlobFileSystemStore.java:817） 位于org.apache.hadoop.fs.azurebfs.AzureBlobFileSystemStore（AzureBlobFileSystemStore.java:149） 位于org.apache.hadoop.fs.azurebfs.AzureBlobFileSystem.initialize（AzureBlobFileSystem.java:108）

---

有谁能帮我一下，是什么错误吗？

根据我的研究，当您的jar与hadoop版本不兼容时，您将收到此错误消息

我恳请您仔细阅读以下问题：

---

如果我的答案对您有帮助，您可以将其作为答案接受（单击答案旁边的复选标记，将其从灰色变为已填写）。这可能对其他社区成员有益。谢谢。嗨，Sandep540，如果这个答案对你有用，你能帮我吗？它可能会帮助更多有类似问题的人。