Scala EMR Spark-libcrypto.so.1.0.0的不满意链接_Scala_Apache Spark_Xgboost

Scala EMR Spark-libcrypto.so.1.0.0的不满意链接

scala apache-spark

Scala EMR Spark-libcrypto.so.1.0.0的不满意链接,scala,apache-spark,xgboost,Scala,Apache Spark,Xgboost,我正在尝试将xgboost4j与Spark 2.4结合使用。我已经验证libcrypto.so.1.0.0是否存在于主节点和工作节点的/dev/so文件夹中。在集群创建期间，通过引导将该文件复制到/dev/so/中。我还将/dev/so/*添加到spark.executor.extraLibraryPath和 spark.driver.extraClassPath。但是当我尝试训练模型时，我得到了这个错误- java.lang.UnsatisfiedLinkError: /mnt3/yarn/u

我正在尝试将xgboost4j与Spark 2.4结合使用。我已经验证libcrypto.so.1.0.0是否存在于主节点和工作节点的/dev/so文件夹中。在集群创建期间，通过引导将该文件复制到/dev/so/中。我还将/dev/so/*添加到spark.executor.extraLibraryPath和 spark.driver.extraClassPath。但是当我尝试训练模型时，我得到了这个错误-

java.lang.UnsatisfiedLinkError: /mnt3/yarn/usercache/zeppelin/appcache/application_1583546919274_0001/container_1583546919274_0001_01_000034/tmp/libxgboost4j6574794715384475912.so: libcrypto.so.1.0.0: cannot open shared object file: No such file or directory

libcrypto.so.1.0.0文件是否需要位于某个特定目录中？任何指针都会有很大帮助。

从错误中可以看出，您可能正在Linux上使用齐柏林飞艇。解释共享库加载通常是如何进行的。您可以尝试安装

libssl

或更新

LD\u LIBRARY\u PATH

（将您的路径添加到其中）。

请在此发布完整的spark提交。我正在尝试从齐柏林飞艇控制台运行xgboost培训，而不是通过spark提交。以下是我的EMR群集的spark.executor.extraLibraryPath属性：/usr/lib/hadoop/*：/etc/hadoop/conf:/usr/lib/hadoop lzo/lib/*：/usr/share/aws/aws java sdk/*：/usr/share/aws/emrfs/conf:/usr/share/aws/emr/emrfs/auxlib/*：/usr/share/aws/hmclient/lib/aws glue datacatalog spark-client.jar:/usr/share/java/Hive-JSON-Serde/Hive-openx Serde/Serde:/dev/so/*。.so文件位于我已验证的executor节点的/dev/so路径中。