elasticsearch EsOutputFormat使用spark连接错误
我正在尝试使用elasticsearch hadoop 2.0.0集成spark和ES(1.2.1)。我将使用EsOutputFormat将spark工作中获得的结果写入ES。我遇到了一个奇怪的问题,错误消息说存在连接错误 我把日志放在摘要里 我对这个异常有点困惑,因为我确信我可以通过默认端口连接到ES:
elasticsearch EsOutputFormat使用spark连接错误,
elasticsearch,apache-spark,
elasticsearch,Apache Spark,我正在尝试使用elasticsearch hadoop 2.0.0集成spark和ES(1.2.1)。我将使用EsOutputFormat将spark工作中获得的结果写入ES。我遇到了一个奇怪的问题,错误消息说存在连接错误 我把日志放在摘要里 我对这个异常有点困惑,因为我确信我可以通过默认端口连接到ES: $ telnet localhost 9200 Trying 127.0.0.1... Connected to localhost. Escape character is '^]'. ^C
$ telnet localhost 9200
Trying 127.0.0.1...
Connected to localhost.
Escape character is '^]'.
^C
Connection closed by foreign host.
我正在运行java版本1.7.0_55和scala 2.10.2。你知道我遗漏了什么吗?你是在本地模式还是群集模式下使用spark?如果是群集模式,则群集中的工作执行器将无法访问本地主机
在Elasticsearch中定义索引时,请尝试输入可供群集中所有节点访问的网络ip。是否更改了索引的大小?
因为默认值为1000,可能您的数据大于索引大小,因此无法加载数据。尝试通过更改设置来更改索引大小:“index.mapping.total_fields.limit”:10000(例如)运行curl-XGET“”时会发生什么?curl-XGET“”如何?它使用localhost/127.0.0.1:$curl-XGET'127.0.1:9200'{“状态”:200,“名称”:“节点01”,“版本”:{“编号”:“1.2.1”,“构建哈希”:“6c95b759f9e7ef0f8e17f77d850da43ce8a4b364”,“构建时间戳”:“2014-06-03T15:02:52Z”,“构建快照”:false,“lucene_版本”:“4.8”},“标语”:“你知道,搜索”}