Warning: file_get_contents(/data/phpspider/zhask/data//catemap/7/sql-server/24.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Sql server 如何在SPARK中通过SSH连接工作节点SQL Server_Sql Server_Apache Spark_Apache Spark Sql - Fatal编程技术网

Sql server 如何在SPARK中通过SSH连接工作节点SQL Server

Sql server 如何在SPARK中通过SSH连接工作节点SQL Server,sql-server,apache-spark,apache-spark-sql,Sql Server,Apache Spark,Apache Spark Sql,我有5个节点在生产中运行spark Node1: Worker Node2: Worker Node3: Worker Node4: Worker Node5: Master 5节点在LAN网络中,只有主节点的IP是公共的 案例1:我的SQL Server节点仅在节点5的防火墙中启用连接。使用spark运行作业时,我收到以下消息: 案例2:当我的SQL Server节点禁用防火墙时,然后使用spark成功运行作业 当启用防火墙时,我想我从所有工作者连接到SQL Server时遇到了问题 如何设

我有5个节点在生产中运行spark

Node1: Worker
Node2: Worker
Node3: Worker
Node4: Worker
Node5: Master
5节点在LAN网络中,只有
主节点的IP是公共的

案例1:我的SQL Server节点仅在
节点5的防火墙中启用连接。使用spark运行作业时,我收到以下消息:

案例2:当我的SQL Server节点禁用防火墙时,然后使用spark成功运行作业

当启用防火墙时,我想我从所有
工作者连接到SQL Server时遇到了问题

如何设置所有
Worker
通过SSH从Node5连接到SQL Server


注意:由于网络不同,我的SQL Server无法启用与Worker的连接。

您是否为所有5个专用IP打开了防火墙?@jjayadeep:我无法为5个IP打开防火墙,因为我的
SQL Server
是具有5个spark节点的不同网络。MySQL只通过一个公共IP与主节点进行通信,而不打开无法连接到SQL Server的两个网络之间的防火墙。工作节点直接与数据库建立连接,因此这是强制性要求。我没有为4个工作节点发布ip,我无法将它们添加到sql server节点中的防火墙
org.apache.spark.SparkException: 
Job aborted due to stage failure: Task 0 in stage 0.0 failed 4 times, most recent failure: Lost task 0.3 in stage 0.0 (TID 3, 10.158.6.95, executor 2):
com.microsoft.sqlserver.jdbc.SQLServerException: The TCP/IP connection to the host 42.113.207.214, port 1433 has failed. 
Error: "Connection timed out: no further information. 
Verify the connection properties. 
Make sure that an instance of SQL Server is running on the host and accepting TCP/IP connections at the port. 
Make sure that TCP connections to the port are not blocked by a firewall.".