Java 如何在获取Spark软件包时禁用SSL身份验证?
我正在使用pyspark,当我启动Spark会话时,我使用Spark.jars.package从Nexus内部存储库获取一些包。要获取我设置的包,请执行以下操作:Java 如何在获取Spark软件包时禁用SSL身份验证?,java,apache-spark,ssl,pyspark,ivy,Java,Apache Spark,Ssl,Pyspark,Ivy,我正在使用pyspark,当我启动Spark会话时,我使用Spark.jars.package从Nexus内部存储库获取一些包。要获取我设置的包,请执行以下操作: spark.jars.ivySettings指向一个XML文件,该文件在Nexus内部repo中的位置用于获取包 spark.driver.extraJavaOptions设置为-Djavax.net.ssl.trustStore=指向包含Nexus内部repo中ssl验证所需证书的JKS文件 直到最近,当我开始出现以下类型的
- spark.jars.ivySettings指向一个XML文件,该文件在Nexus内部repo中的位置用于获取包
- spark.driver.extraJavaOptions设置为-Djavax.net.ssl.trustStore=指向包含Nexus内部repo中ssl验证所需证书的JKS文件
是否有办法通过Spark配置实现此目的?您可以传入Spark选项:
-Dcom.sun.net.ssl.checkRevocation=false
我尝试了这个选项,但由于某些原因,它似乎对Spark不起作用。还可以看到使用py spark的,你也是吗?您是否可以在启动时(使用
ps-aef
)使用此命令确认java进程选项?此外,此问题似乎出现在使用spark submit
启动的spark客户端中,而不是驱动程序或执行者。你能试着在客户机模式下运行吗?驱动程序在客户端的什么位置?我正在使用pyspark和Thread客户端模式。将尝试检查“ps-aef”。不着急,因为我从我们的平台团队那里得到了证书文件。无论如何,谢谢你的帮助!