Apache spark Spark with Mesos:java.lang.UnsatifiedLinkError:libsvn_delta-1.so.0:无法打开共享对象文件：没有这样的文件或目录

我设置了一个mesos集群，其中有一个主集群（192.168.2.1）和两个从集群（192.168.2.2192.168.2.3）

我能够使用成功访问mesos，并且我能够看到两个奴隶都注册为代理。然后在这3个节点上设置spark

然后我从/usr/local/lib下载了libmesos.so（libmesos-1.8.1.so），并将我的本地开发机器设置为

export MESOS_NATIVE_JAVA_LIBRARY=/mylocallibs/libmesos.so

当我尝试使用此SparkConfig连接到主机时

SparkConf sparkConf = new SparkConf()
      .setMaster("mesos://192.168.2.1:5050")
      .setAppName("My app")
      .set("spark.executor.uri", <http url to spark tgz>)
      .set("spark.submit.deployMode", "cluster");

我在这3个节点上设置spark的方式如下：

# Download spark executable
wget http://www-us.apache.org/dist/spark/spark-2.4.3/spark-2.4.3-bin-hadoop2.7.tgz -O /opt/spark-2.4.3-bin-hadoop2.7.tgz

# Extract
cd /opt; tar xzf /opt/spark-2.4.3-bin-hadoop2.7.tgz

# Setup link for upgrades
ln -s /opt/spark-2.4.3-bin-hadoop2.7 /opt/spark

# Set spark_home
export SPARK_HOME=/opt/spark

cp $SPARK_HOME/conf/spark-env.sh.template $SPARK_HOME/conf/spark.env.sh

# Edit spark-env.sh and set variables
vi $SPARK_HOME/conf/spark-env.sh

export MESOS_NATIVE_JAVA_LIBRARY=/usr/local/lib/libmesos.so

export SPARK_EXECUTOR_URI=<http url to spark tgz>

cp $SPARK_HOME/conf/spark-defaults.conf.template $SPARK_HOME/conf/spark-defaults.conf

# Edit spark defaults and set variables
vi $SPARK_HOME/conf/spark-defaults.conf

export MESOS_NATIVE_JAVA_LIBRARY=/usr/local/lib/libmesos.so

export SPARK_EXECUTOR_URI=<http url to spark tgz>

我下载了libsvn_delta-1.so.0->libsvn_delta-1.so.1的更高版本，并将其重命名为libsvn_delta-1.so.0 in/mylocallibs，只是为了继续，因为我被困了很长时间

这只会启动一系列其他库文件未被压缩

---

我是否错过了任何明显的内容？

库已由应用程序加载，并且应用程序尝试再次加载，JVM将抛出

未满足的链接错误

由于您使用的是群集模式，因此可能需要发送库
通过
--文件
选项访问文件。。或复制库文件夹
到hdfs，并尝试以群集模式从hdfs进行访问它可以从
hdfs。

在群集模式下，驱动程序在其中一个executor节点上运行，它无法识别您的本地路径

要确保它正在工作，请将部署模式更改为客户端，以查看它是否工作

或者看这个，类似的问题在这里被解决了。看看那个

成功了！我必须将这些JAR放在一个目录中，然后导出LD_LIBRARY_路径
# Download spark executable
wget http://www-us.apache.org/dist/spark/spark-2.4.3/spark-2.4.3-bin-hadoop2.7.tgz -O /opt/spark-2.4.3-bin-hadoop2.7.tgz

# Extract
cd /opt; tar xzf /opt/spark-2.4.3-bin-hadoop2.7.tgz

# Setup link for upgrades
ln -s /opt/spark-2.4.3-bin-hadoop2.7 /opt/spark

# Set spark_home
export SPARK_HOME=/opt/spark

cp $SPARK_HOME/conf/spark-env.sh.template $SPARK_HOME/conf/spark.env.sh

# Edit spark-env.sh and set variables
vi $SPARK_HOME/conf/spark-env.sh

export MESOS_NATIVE_JAVA_LIBRARY=/usr/local/lib/libmesos.so

export SPARK_EXECUTOR_URI=<http url to spark tgz>

cp $SPARK_HOME/conf/spark-defaults.conf.template $SPARK_HOME/conf/spark-defaults.conf

# Edit spark defaults and set variables
vi $SPARK_HOME/conf/spark-defaults.conf

export MESOS_NATIVE_JAVA_LIBRARY=/usr/local/lib/libmesos.so

export SPARK_EXECUTOR_URI=<http url to spark tgz>

export LD_LIBRARY_PATH=/mylocallibs/