Warning: file_get_contents(/data/phpspider/zhask/data//catemap/5/excel/29.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark sql 无法在google cloud dataproc中启动spark thrift server_Apache Spark Sql_Google Cloud Dataproc - Fatal编程技术网

Apache spark sql 无法在google cloud dataproc中启动spark thrift server

Apache spark sql 无法在google cloud dataproc中启动spark thrift server,apache-spark-sql,google-cloud-dataproc,Apache Spark Sql,Google Cloud Dataproc,我在启动google cloud dataproc集群10010端口的spark sql thrift server时遇到困难,它失败了,出现以下错误,有人能帮忙吗?我尝试更改端口号,但仍然没有成功 sudo-u spark-HIVE_-SERVER2_-thrifts_-PORT=10010/usr/lib/spark/sbin/start-thriftserver.sh 以下是日志: 16/11/30 23:47:16 INFO org.apache.hive.service.Abstrac

我在启动google cloud dataproc集群10010端口的spark sql thrift server时遇到困难,它失败了,出现以下错误,有人能帮忙吗?我尝试更改端口号,但仍然没有成功

sudo-u spark-HIVE_-SERVER2_-thrifts_-PORT=10010/usr/lib/spark/sbin/start-thriftserver.sh

以下是日志:

16/11/30 23:47:16 INFO org.apache.hive.service.AbstractService:service:ThriftBinaryCLIService已启动。 16/11/30 23:47:16 INFO org.apache.hive.service.AbstractService:service:HiveServer2已启动。 16/11/30 23:47:16错误org.apache.hive.service.cli.thrift.ThriftCLIService:启动HiveServer2时出错:无法启动ThriftBinaryCLIService org.apache.thrift.transport.ttTransportException:无法在地址0.0.0.0/0.0.0.0:10002上创建ServerSocket。 位于org.apache.thrift.transport.TServerSocket.(TServerSocket.java:109) 位于org.apache.thrift.transport.TServerSocket.(TServerSocket.java:91) 位于org.apache.thrift.transport.TServerSocket.(TServerSocket.java:87) 位于org.apache.hive.service.auth.HiveAuthFactory.getServerSocket(HiveAuthFactory.java:241) 位于org.apache.hive.service.cli.thrift.ThriftBinaryCLIService.run(ThriftBinaryCLIService.java:66) 运行(Thread.java:745) 16/11/30 23:47:16 INFO org.apache.hive.service.server.HiveServer2:关闭HiveServer2 16/11/30 23:47:16 INFO org.apache.hive.service.AbstractService:service:ThriftBinaryCLIService已停止。 16/11/30 23:47:16 INFO org.apache.hive.service.AbstractService:service:OperationManager已停止。 16/11/30 23:47:16 INFO org.apache.hive.service.AbstractService:service:SessionManager已停止。 16/11/30 23:47:16 INFO org.apache.hive.service.AbstractService:service:CLIService已停止。
16/11/30 23:47:16 INFO org.apache.hive.service.AbstractService:service:HiveServer2已停止

我不太清楚为什么不起作用,但我建议运行
改为安装spark thriftserver

默认情况下,服务器配置为在端口10002上运行(在您的情况下,它尝试这样做),但您可以在
spark env.sh
中更改此设置


还值得注意的是,带有AppMaster和executor的Thrift服务器可以填充一个小集群,或者被另一个small Spark作业阻止。

在Spark-env.sh中更改HIVE_SERVER2_Thrift_端口很有效,谢谢。