如何使用第三方JAR（如fuzzywuzzy）运行PySpark？

尝试了--jars选项和--driver类jars等。它仍然给了我“no module fuzzyfuzzy”发现的错误

试试

pyspark--packages me.xdrop:fuzzyfuzzy:1.1.8

根据您所需的工作流程/环境，还可以查看一些其他选项。

试试

pyspark--packages me.xdrop:fuzzyfuzzy:1.1.8

---

根据您所需的工作流程/环境，还可以查看其他一些选项。

谢谢！我正在显示模糊模糊模糊的成功检索。但是当我输入“import fuzzywuzzy”时，我仍然得到了“import error:没有模块名fuzzywuzzy”，我认为这是因为pyspark没有选择正确的python库路径。罐子被放进我家的dir/.ivy2/jars里。我用这个文件夹导出了PYTHONPATH，它仍然没有帮助。如果您试图使用fuzzywuzzy（）的原始Python实现，您应该安装它（

pip install fuzzywuzzy

）。您的问题特别询问了关于安装fuzzywuzzy jar（即）的问题——但是安装fuzzywuzzy jar并不会神奇地使其成为Python包……谢谢，您是对的。但是，我没有root权限将其安装到边缘模式上的原始python路径。我也不能在所有的数据节点上安装它们。当我向集群提交pyspark作业时，如何发送库？您有完整配置的spark submit命令示例吗？您可以尝试将

spark submit

与

--py文件一起使用。现在，您提出了一个完全不同的问题，即如何使Python模块在工作人员之间可用，但您没有提供足够的环境信息来给出一个好的答案。试试看：谢谢！我正在显示模糊模糊模糊的成功检索。但是当我输入“import fuzzywuzzy”时，我仍然得到了“import error:没有模块名fuzzywuzzy”，我认为这是因为pyspark没有选择正确的python库路径。罐子被放进我家的dir/.ivy2/jars里。我用这个文件夹导出了PYTHONPATH，它仍然没有帮助。如果您试图使用fuzzywuzzy（）的原始Python实现，您应该安装它（
pip install fuzzywuzzy
）。您的问题特别询问了关于安装fuzzywuzzy jar（即）的问题——但是安装fuzzywuzzy jar并不会神奇地使其成为Python包……谢谢，您是对的。但是，我没有root权限将其安装到边缘模式上的原始python路径。我也不能在所有的数据节点上安装它们。当我向集群提交pyspark作业时，如何发送库？您有完整配置的spark submit命令示例吗？您可以尝试将
spark submit
与
--py文件一起使用。现在，您提出了一个完全不同的问题，即如何使Python模块在工作人员之间可用，但您没有提供足够的环境信息来给出一个好的答案。试试看：