Macos Apache Spark 3.0不同的操作系统网络驱动器
我通过SSH在多节点集群上设置了一个Macos Apache Spark 3.0不同的操作系统网络驱动器,macos,apache-spark,ubuntu,cluster-computing,Macos,Apache Spark,Ubuntu,Cluster Computing,我通过SSH在多节点集群上设置了一个ApacheSpark3.0。 我使用的是一个网络驱动器,所有节点都连接到该驱动器,但是macosx上的文件目录与Ubuntu上的不同,后者失败了。 例如,MAC OsX通过/Volumes/ Ubuntu通过/run/user/1000/gvfs/ 问题是,如果使用Mac作为主机,并告诉它读取网络驱动程序,其他机器将无法访问它,即使它们都连接到它,因此它会在Ubuntu节点上出错。有没有一种方法可以让我拥有相同的地址,这样所有机器都可以在pyspark中对其
ApacheSpark3.0
。
我使用的是一个网络驱动器,所有节点都连接到该驱动器,但是macosx
上的文件目录与Ubuntu
上的不同,后者失败了。
例如,MAC OsX
通过/Volumes/
Ubuntu通过/run/user/1000/gvfs/
问题是,如果使用Mac作为主机,并告诉它读取
网络驱动程序
,其他机器将无法访问它,即使它们都连接到它,因此它会在Ubuntu节点上出错。有没有一种方法可以让我拥有相同的地址,这样所有机器都可以在pyspark
中对其进行解释?只需在所有机器上创建指向相同位置的符号链接,并使用该符号链接而不是实际位置。大概是这样的:
mkdir/some/location
OS_NAME=$(uname-s)
如果[“$OS_NAME”=“Darwin”];然后
ln-s/卷//部分/位置/驱动器
elif[“$OS_NAME”=“Linux”];然后
ln-s/run/user/1000/gvfs//some/location/drive
其他的
回显“不支持的操作系统”
fi