Apache spark 用蟒蛇在工人身上用火花纱固定蟒蛇

我浏览了这篇文章。显然，最简单的方法是将PYSPARK_PATh环境变量导入位于spark的conf文件夹中的./conf/spark-env.sh文件中，比如我的例子中的/opt/cloudera/parcels/CDH/lib/spark/conf/。然而，我发现在纱线簇模式下对spark重复该操作。试着玩了很长时间。我发现要添加蟒蛇包

---

现在剩下要做的就是在spark-env.sh文件中添加Anaconda路径，而不是标准的python路径。它终于奏效了。请分享SPARK和pyspark中是否有更好的python安装/更新方法

显然，当我使用spark submit而不是pyspark interactive shell（两者都用于纱线集群模式）时，我不需要做所有这些胡闹的事情。我仍然想知道为什么会是这样。显然，当我使用spark submit而不是pyspark interactive shell（两者都用于纱线集群模式）时，我不需要做所有这些胡闹的事情。我仍然想知道为什么会这样。