Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
<img src="//i.stack.imgur.com/RUiNP.png" height="16" width="18" alt="" class="sponsor tag img">elasticsearch EsOutputFormat使用spark连接错误_<img Src="//i.stack.imgur.com/RUiNP.png" Height="16" Width="18" Alt="" Class="sponsor Tag Img">elasticsearch_Apache Spark - Fatal编程技术网 elasticsearch EsOutputFormat使用spark连接错误,elasticsearch,apache-spark,elasticsearch,Apache Spark" /> elasticsearch EsOutputFormat使用spark连接错误,elasticsearch,apache-spark,elasticsearch,Apache Spark" />

elasticsearch EsOutputFormat使用spark连接错误

elasticsearch EsOutputFormat使用spark连接错误,elasticsearch,apache-spark,elasticsearch,Apache Spark,我正在尝试使用elasticsearch hadoop 2.0.0集成spark和ES(1.2.1)。我将使用EsOutputFormat将spark工作中获得的结果写入ES。我遇到了一个奇怪的问题,错误消息说存在连接错误 我把日志放在摘要里 我对这个异常有点困惑,因为我确信我可以通过默认端口连接到ES: $ telnet localhost 9200 Trying 127.0.0.1... Connected to localhost. Escape character is '^]'. ^C

我正在尝试使用elasticsearch hadoop 2.0.0集成spark和ES(1.2.1)。我将使用EsOutputFormat将spark工作中获得的结果写入ES。我遇到了一个奇怪的问题,错误消息说存在连接错误

我把日志放在摘要里

我对这个异常有点困惑,因为我确信我可以通过默认端口连接到ES:

$ telnet localhost 9200
Trying 127.0.0.1...
Connected to localhost.
Escape character is '^]'.
^C
Connection closed by foreign host.

我正在运行java版本1.7.0_55和scala 2.10.2。你知道我遗漏了什么吗?

你是在本地模式还是群集模式下使用spark?如果是群集模式,则群集中的工作执行器将无法访问本地主机


在Elasticsearch中定义索引时,请尝试输入可供群集中所有节点访问的网络ip。是否更改了索引的大小?
因为默认值为1000,可能您的数据大于索引大小,因此无法加载数据。尝试通过更改设置来更改索引大小:“index.mapping.total_fields.limit”:10000(例如)

运行curl-XGET“”时会发生什么?curl-XGET“”如何?它使用localhost/127.0.0.1:$curl-XGET'127.0.1:9200'{“状态”:200,“名称”:“节点01”,“版本”:{“编号”:“1.2.1”,“构建哈希”:“6c95b759f9e7ef0f8e17f77d850da43ce8a4b364”,“构建时间戳”:“2014-06-03T15:02:52Z”,“构建快照”:false,“lucene_版本”:“4.8”},“标语”:“你知道,搜索”}