Python Spark Streaming在IBM BigInsights上不起作用

Python Spark Streaming在IBM BigInsights上不起作用,python,apache-spark,yarn,biginsights,Python,Apache Spark,Yarn,Biginsights,我正在测试一个使用Spark流实时提取推文的脚本。这些tweet应该加载到ibmbiginsights hdfs环境中。该脚本是用python编写的,我使用Thread进行集群管理 它在本地独立环境中运行良好,但当我使用 spark-submit --master yarn-cluster <name_of_script.py> spark提交——主纱线簇 在我的BigInsights服务器上,出现以下错误: 错误:[Errno 111]连接被拒绝 错误:py4j.java_网关

我正在测试一个使用Spark流实时提取推文的脚本。这些tweet应该加载到ibmbiginsights hdfs环境中。该脚本是用python编写的,我使用Thread进行集群管理

它在本地独立环境中运行良好,但当我使用

spark-submit --master yarn-cluster <name_of_script.py>
spark提交——主纱线簇
在我的BigInsights服务器上,出现以下错误:

错误:[Errno 111]连接被拒绝
错误:py4j.java_网关:尝试连接到java服务器时出错
回溯(最近一次呼叫最后一次):
文件“/data/hadoop swap/thread/local/usercache/prtbhd/appcache/application_1497088854141_0001/container_1497088854141_0001_01_000001/py4j-0.9-src.zip/py4j/java_gateway.py”,第690行,开始
self.socket.connect((self.address,self.port))
文件“”,第1行,在connect中

你知道为什么会出现这个错误,以及如何解决这个问题吗