Apache storm StreamParse:IOError:本地端口:6627已在使用中,无法打开到nimbus.server的ssh隧道。本地端口:6627

Apache storm StreamParse:IOError:本地端口:6627已在使用中,无法打开到nimbus.server的ssh隧道。本地端口:6627,apache-storm,streamparse,Apache Storm,Streamparse,设置: 风暴0.10.0 Streamparse 2.1.4 Centos 6.5 Python 2.7(Streamparse需要它) (是的,我知道它们已经过时了,但是我无法在Storm 1.0中获得任何东西,它刚刚在streamparse 3中被破坏) 当我尝试从我的nimbus服务器或拓扑结构中的另一台服务器启动“streamparse submit”时,会出现以下错误: IOError:本地端口:6627已在使用中,无法打开ssh隧道 到nimbus.server.local:66

设置:

  • 风暴0.10.0
  • Streamparse 2.1.4
  • Centos 6.5
  • Python 2.7(Streamparse需要它)
(是的,我知道它们已经过时了,但是我无法在Storm 1.0中获得任何东西,它刚刚在streamparse 3中被破坏)

当我尝试从我的nimbus服务器或拓扑结构中的另一台服务器启动“streamparse submit”时,会出现以下错误:

IOError:本地端口:6627已在使用中,无法打开ssh隧道 到nimbus.server.local:6627。“

当然6627在我的nimbus服务器上使用了?这是第三港口。所以我尝试将Thrifty port移动到6637并重新启动Nimbus。但是我从提交它的客户那里得到了同样的错误:

IOError:本地端口:6627已在使用中,无法打开到的ssh隧道 nimbus.服务器.本地:6627

即使是一个netstat tuanp也显示6627显示nimbus上的端口或执行提交的框上没有任何内容正在侦听

我觉得SSHD config和允许隧道有关,而Nimbus没有正确处理这一点,并且在尝试建立隧道时给出了错误的错误


还有其他人经历过吗

这就是我在本地Storm集群中部署streamparse Storm拓扑的最终目的:

> sparse quickstart quickstart-2.1.4
> cd quickstart-2.1.4
> sparse jar
> storm jar _build/quickstart-2.1.4-0.0.1-SNAPSHOT-standalone.jar streamparse.commands.submit_topology topologies/wordcount.clj

这与streamparse 2.1.4和Storm 0.9.5配合使用,这就是我在本地Storm集群中部署streamparse Storm拓扑的最终目的:

> sparse quickstart quickstart-2.1.4
> cd quickstart-2.1.4
> sparse jar
> storm jar _build/quickstart-2.1.4-0.0.1-SNAPSHOT-standalone.jar streamparse.commands.submit_topology topologies/wordcount.clj

这适用于streamparse 2.1.4和Storm 0.9.5

我在运行Storm topology时遇到了相同的错误

我做了如下的改变,然后效果很好, 添加了以下属性

在config.json中

        "use_ssh_for_nimbus": false,
        "use_virtualenv": false,
在fabfile.py中

        from fabric.api import env
        env.use_ssh_config = False
        env.password = '****'
        from streamparse.ext.fabric import *
并以“稀疏提交”的形式提交
请让我知道它是否有效,或者共享配置文件

我在运行storm topology时遇到了相同的错误

我做了如下的改变,然后效果很好, 添加了以下属性

在config.json中

        "use_ssh_for_nimbus": false,
        "use_virtualenv": false,
在fabfile.py中

        from fabric.api import env
        env.use_ssh_config = False
        env.password = '****'
        from streamparse.ext.fabric import *
并以“稀疏提交”的形式提交
请让我知道它是否有效,或者共享配置文件

是的,在我设置本地Storm群集的主机上运行streamparse时,我发现了相同的问题。在此之前,我花了一整天的时间尝试将storm拓扑部署到远程storm集群,但没有成功,我已经用“稀疏运行”测试了storm拓扑。我学到的是,每次运行sparse命令时,它都会生成两个sparse进程。我假设它们都在使用端口6627,导致其中一个进程抛出“6627已在使用”错误。是的,在我设置本地Storm群集的主机上运行streamparse时,我看到了相同的问题。在此之前,我花了一整天的时间尝试将storm拓扑部署到远程storm集群,但没有成功,我已经用“稀疏运行”测试了storm拓扑。我学到的是,每次运行sparse命令时,它都会生成两个sparse进程。我假设它们都在使用端口6627,导致其中一个进程抛出“6627已在使用”错误。