Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop Spark thrift服务器无法启动_Hadoop_Apache Spark_Hive_Spark Thriftserver - Fatal编程技术网

Hadoop Spark thrift服务器无法启动

Hadoop Spark thrift服务器无法启动,hadoop,apache-spark,hive,spark-thriftserver,Hadoop,Apache Spark,Hive,Spark Thriftserver,我使用下面的命令在windows中的secured Thread-2.7.2上运行spark 1.5.2 thrift server和配置单元1.2.1 spark-submit --class org.apache.spark.sql.hive.thriftserver.HiveThriftServer2 --master yarn-client "C:\Spark\lib\spark-hive-thriftserver_2.10-1.5.2.jar" 它因以下异常而停止 16/04/11

我使用下面的命令在windows中的secured Thread-2.7.2上运行spark 1.5.2 thrift server和配置单元1.2.1

spark-submit --class org.apache.spark.sql.hive.thriftserver.HiveThriftServer2 --master yarn-client "C:\Spark\lib\spark-hive-thriftserver_2.10-1.5.2.jar"
它因以下异常而停止

16/04/11 12:31:00 INFO AbstractService: Service:HiveServer2 is started.
16/04/11 12:31:00 INFO HiveThriftServer2: HiveThriftServer2 started
16/04/11 12:31:00 ERROR ThriftCLIService: Error starting HiveServer2: could not start ThriftBinaryCLIService
org.apache.thrift.transport.TTransportException: Could not create ServerSocket on address hostname1/192.168.65.7:10000.
    at org.apache.thrift.transport.TServerSocket.<init>(TServerSocket.java:109)
    at org.apache.thrift.transport.TServerSocket.<init>(TServerSocket.java:91)
    at org.apache.thrift.transport.TServerSocket.<init>(TServerSocket.java:87)
    at org.apache.hive.service.auth.HiveAuthFactory.getServerSocket(HiveAuthFactory.java:241)
    at org.apache.hive.service.cli.thrift.ThriftBinaryCLIService.run(ThriftBinaryCLIService.java:66)
    at java.lang.Thread.run(Thread.java:744)
16/04/11 12:31:00 INFO HiveServer2: Shutting down HiveServer2
16/04/11 12:31:00 INFO AbstractService: Service:ThriftBinaryCLIService is stopped.
16/04/11 12:31:00信息摘要服务:服务:HiveServer2已启动。
2011年4月16日12:31:00信息HiveThriftServer2:HiveThriftServer2已启动
16/04/11 12:31:00错误ThriftCLIService:启动HiveServer2时出错:无法启动ThriftBinaryCLIService
org.apache.thrift.transport.ttTransportException:无法在地址hostname1/192.168.65.7:10000上创建ServerSocket。
位于org.apache.thrift.transport.TServerSocket.(TServerSocket.java:109)
位于org.apache.thrift.transport.TServerSocket.(TServerSocket.java:91)
位于org.apache.thrift.transport.TServerSocket.(TServerSocket.java:87)
位于org.apache.hive.service.auth.HiveAuthFactory.getServerSocket(HiveAuthFactory.java:241)
位于org.apache.hive.service.cli.thrift.ThriftBinaryCLIService.run(ThriftBinaryCLIService.java:66)
运行(Thread.java:744)
2011年4月16日12:31:00信息HiveServer2:正在关闭HiveServer2
16/04/11 12:31:00信息摘要服务:服务:ThriftBinaryCLIService已停止。
如何解决这个问题


谢谢。

问题的可能原因是端口
10000
已在使用中(如您的评论中所述,Hiveserver已在运行,默认情况下使用端口10000)。
您可以在运行thrift server时将其更改(例如,更改为10005)

我建议您按如下方式启动thrift服务器:

$cd $SPARK_HOME
$./sbin/start-thriftserver.sh --hiveconf hive.server2.thrift.port=10005 --master  yarn-client

请参阅文档

您的
配置单元站点.xml是什么样子的?配置单元服务器2在我的机器上成功运行,但spark再次尝试启动配置单元服务器2。就是这样:),配置单元服务器正在使用端口10000,您应该将spark Thrift server的端口更改为类似10001的端口