使用scala运行DBSCAN源时,Spark会导致内存错误。我们如何解决这个问题?

使用scala运行DBSCAN源时,Spark会导致内存错误。我们如何解决这个问题?,scala,apache-spark,memory,dbscan,Scala,Apache Spark,Memory,Dbscan,我们用了10万套。 spark的版本是1.6.1,scala的版本是2.1.0。 如何修复内存错误并获得良好的结果 Spark的各种DBSCAN插件都有问题 授予本报告: 纽基兴,赫尔穆特。“针对大数据和高性能计算范式的DBSCAN空间集群实施的调查和性能评估”(2016) 对于Scala这样的JVM语言,调用例如ELKI应该很容易,并且可以获得相当好的性能。尝试使用带有索引的ELKI而不是Spark。

我们用了10万套。 spark的版本是1.6.1,scala的版本是2.1.0。 如何修复内存错误并获得良好的结果


Spark的各种DBSCAN插件都有问题

授予本报告:

纽基兴,赫尔穆特。“针对大数据和高性能计算范式的DBSCAN空间集群实施的调查和性能评估”(2016)


对于Scala这样的JVM语言,调用例如ELKI应该很容易,并且可以获得相当好的性能。

尝试使用带有索引的ELKI而不是Spark。