Sql server 如何在SPARK中通过SSH连接工作节点SQL Server
我有5个节点在生产中运行sparkSql server 如何在SPARK中通过SSH连接工作节点SQL Server,sql-server,apache-spark,apache-spark-sql,Sql Server,Apache Spark,Apache Spark Sql,我有5个节点在生产中运行spark Node1: Worker Node2: Worker Node3: Worker Node4: Worker Node5: Master 5节点在LAN网络中,只有主节点的IP是公共的 案例1:我的SQL Server节点仅在节点5的防火墙中启用连接。使用spark运行作业时,我收到以下消息: 案例2:当我的SQL Server节点禁用防火墙时,然后使用spark成功运行作业 当启用防火墙时,我想我从所有工作者连接到SQL Server时遇到了问题 如何设
Node1: Worker
Node2: Worker
Node3: Worker
Node4: Worker
Node5: Master
5节点在LAN网络中,只有主节点的IP是公共的
案例1:我的SQL Server节点仅在节点5的防火墙中启用连接。使用spark运行作业时,我收到以下消息:
案例2:当我的SQL Server节点禁用防火墙时,然后使用spark成功运行作业
当启用防火墙时,我想我从所有工作者连接到SQL Server时遇到了问题
如何设置所有Worker
通过SSH从Node5连接到SQL Server
注意:由于网络不同,我的SQL Server无法启用与Worker的连接。您是否为所有5个专用IP打开了防火墙?@jjayadeep:我无法为5个IP打开防火墙,因为我的SQL Server
是具有5个spark节点的不同网络。MySQL只通过一个公共IP与主节点进行通信,而不打开无法连接到SQL Server的两个网络之间的防火墙。工作节点直接与数据库建立连接,因此这是强制性要求。我没有为4个工作节点发布ip,我无法将它们添加到sql server节点中的防火墙
org.apache.spark.SparkException:
Job aborted due to stage failure: Task 0 in stage 0.0 failed 4 times, most recent failure: Lost task 0.3 in stage 0.0 (TID 3, 10.158.6.95, executor 2):
com.microsoft.sqlserver.jdbc.SQLServerException: The TCP/IP connection to the host 42.113.207.214, port 1433 has failed.
Error: "Connection timed out: no further information.
Verify the connection properties.
Make sure that an instance of SQL Server is running on the host and accepting TCP/IP connections at the port.
Make sure that TCP connections to the port are not blocked by a firewall.".