Hadoop Spark thrift服务器无法启动
我使用下面的命令在windows中的secured Thread-2.7.2上运行spark 1.5.2 thrift server和配置单元1.2.1Hadoop Spark thrift服务器无法启动,hadoop,apache-spark,hive,spark-thriftserver,Hadoop,Apache Spark,Hive,Spark Thriftserver,我使用下面的命令在windows中的secured Thread-2.7.2上运行spark 1.5.2 thrift server和配置单元1.2.1 spark-submit --class org.apache.spark.sql.hive.thriftserver.HiveThriftServer2 --master yarn-client "C:\Spark\lib\spark-hive-thriftserver_2.10-1.5.2.jar" 它因以下异常而停止 16/04/11
spark-submit --class org.apache.spark.sql.hive.thriftserver.HiveThriftServer2 --master yarn-client "C:\Spark\lib\spark-hive-thriftserver_2.10-1.5.2.jar"
它因以下异常而停止
16/04/11 12:31:00 INFO AbstractService: Service:HiveServer2 is started.
16/04/11 12:31:00 INFO HiveThriftServer2: HiveThriftServer2 started
16/04/11 12:31:00 ERROR ThriftCLIService: Error starting HiveServer2: could not start ThriftBinaryCLIService
org.apache.thrift.transport.TTransportException: Could not create ServerSocket on address hostname1/192.168.65.7:10000.
at org.apache.thrift.transport.TServerSocket.<init>(TServerSocket.java:109)
at org.apache.thrift.transport.TServerSocket.<init>(TServerSocket.java:91)
at org.apache.thrift.transport.TServerSocket.<init>(TServerSocket.java:87)
at org.apache.hive.service.auth.HiveAuthFactory.getServerSocket(HiveAuthFactory.java:241)
at org.apache.hive.service.cli.thrift.ThriftBinaryCLIService.run(ThriftBinaryCLIService.java:66)
at java.lang.Thread.run(Thread.java:744)
16/04/11 12:31:00 INFO HiveServer2: Shutting down HiveServer2
16/04/11 12:31:00 INFO AbstractService: Service:ThriftBinaryCLIService is stopped.
16/04/11 12:31:00信息摘要服务:服务:HiveServer2已启动。
2011年4月16日12:31:00信息HiveThriftServer2:HiveThriftServer2已启动
16/04/11 12:31:00错误ThriftCLIService:启动HiveServer2时出错:无法启动ThriftBinaryCLIService
org.apache.thrift.transport.ttTransportException:无法在地址hostname1/192.168.65.7:10000上创建ServerSocket。
位于org.apache.thrift.transport.TServerSocket.(TServerSocket.java:109)
位于org.apache.thrift.transport.TServerSocket.(TServerSocket.java:91)
位于org.apache.thrift.transport.TServerSocket.(TServerSocket.java:87)
位于org.apache.hive.service.auth.HiveAuthFactory.getServerSocket(HiveAuthFactory.java:241)
位于org.apache.hive.service.cli.thrift.ThriftBinaryCLIService.run(ThriftBinaryCLIService.java:66)
运行(Thread.java:744)
2011年4月16日12:31:00信息HiveServer2:正在关闭HiveServer2
16/04/11 12:31:00信息摘要服务:服务:ThriftBinaryCLIService已停止。
如何解决这个问题
谢谢。问题的可能原因是端口
10000
已在使用中(如您的评论中所述,Hiveserver已在运行,默认情况下使用端口10000)。您可以在运行thrift server时将其更改(例如,更改为10005) 我建议您按如下方式启动thrift服务器:
$cd $SPARK_HOME
$./sbin/start-thriftserver.sh --hiveconf hive.server2.thrift.port=10005 --master yarn-client
请参阅文档您的
配置单元站点.xml是什么样子的?配置单元服务器2在我的机器上成功运行,但spark再次尝试启动配置单元服务器2。就是这样:),配置单元服务器正在使用端口10000,您应该将spark Thrift server的端口更改为类似10001的端口