Amazon dynamodb 亚马逊泰坦为何抛出Elasticsearch例外?

Amazon dynamodb 亚马逊泰坦为何抛出Elasticsearch例外?,amazon-dynamodb,titan,Amazon Dynamodb,Titan,我使用Spark编写一个重应用程序,需要集群上的50台机器来在图形上进行读/写 目前,我正在本地测试它,这意味着有50个线程并行启动。它们中的每一个都初始化数据库连接 出于某种原因,我得到了以下错误: 16/03/16 21:18:19 WARN state.meta: [Jacob "Jake" Fury] failed to find dangling indices java.nio.file.FileSystemException: /tmp/searchindex/data/elast

我使用Spark编写一个重应用程序,需要集群上的50台机器来在图形上进行读/写

目前,我正在本地测试它,这意味着有50个线程并行启动。它们中的每一个都初始化数据库连接

出于某种原因,我得到了以下错误:

16/03/16 21:18:19 WARN state.meta: [Jacob "Jake" Fury] failed to find dangling indices
java.nio.file.FileSystemException: /tmp/searchindex/data/elasticsearch/nodes/32/indices: Too many open files
    at sun.nio.fs.UnixException.translateToIOException(UnixException.java:91)
    at sun.nio.fs.UnixException.rethrowAsIOException(UnixException.java:102)
    at sun.nio.fs.UnixException.rethrowAsIOException(UnixException.java:107)
    at sun.nio.fs.UnixFileSystemProvider.newDirectoryStream(UnixFileSystemProvider.java:427)
    at java.nio.file.Files.newDirectoryStream(Files.java:457)
    at org.elasticsearch.env.NodeEnvironment.findAllIndices(NodeEnvironment.java:530)
    at org.elasticsearch.gateway.local.state.meta.LocalGatewayMetaState.clusterChanged(LocalGatewayMetaState.java:245)
    at org.elasticsearch.gateway.local.LocalGateway.clusterChanged(LocalGateway.java:215)
    at org.elasticsearch.cluster.service.InternalClusterService$UpdateTask.run(InternalClusterService.java:467)
    at org.elasticsearch.common.util.concurrent.PrioritizedEsThreadPoolExecutor$TieBreakingPrioritizedRunnable.runAndClean(PrioritizedEsThreadPoolExecutor.java:188)
    at org.elasticsearch.common.util.concurrent.PrioritizedEsThreadPoolExecutor$TieBreakingPrioritizedRunnable.run(PrioritizedEsThreadPoolExecutor.java:158)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
    at java.lang.Thread.run(Thread.java:745)

我在配置文件中根本没有使用ElasticSearch。我所有的索引都是复合的。Titan DynamoDB实现是否在内部使用它?如何解决此异常?

这与Titan的DynamoDB实现没有直接关系,但错误
打开的文件太多
是*nix os的一个相当常见的问题


深入了解如何提高操作系统中打开文件的数量,问题就会消失(例如)。

谢谢。这将有助于解决主要问题的副作用。但是,剩下的问题是,为什么ElasticSearch在我从未在Titan的配置文件中提到的时候就开始了呢。