spark提交命令--pyspark的py文件
我正在使用pyspark为DyGIE++模型创建一个推断管道。在这里，我的预训练模型大小是830MB，所有其他相关模块接近1.3GB（压缩后）。如何在多节点集群中使用spark submit命令部署此管道？（我没有在所有节点中安装python依赖项，也没有访问主节点的权限。）您实际上需要通过指定spark主url来提交作业。Spark master将自动在工人之间分配工作负载。在文档中找到它spark提交命令--pyspark的py文件,pyspark,deep-learning,Pyspark,Deep Learning,我正在使用pyspark为DyGIE++模型创建一个推断管道。在这里，我的预训练模型大小是830MB，所有其他相关模块接近1.3GB（压缩后）。如何在多节点集群中使用spark submit命令部署此管道？（我没有在所有节点中安装python依赖项，也没有访问主节点的权限。）您实际上需要通过指定spark主url来提交作业。Spark master将自动在工人之间分配工作负载。在文档中找到它