Performance Clojure在集合更新或大量计算方面的性能
我正试图用筛子算法求一个Euler项目问题的素数。我使用可变集合来存储非素数的数字，并使用“dosync”和“communite”来更新该集合（否则，如果它是不可变的，我的内存就用完了）。在120万个素数之前，性能基本上是线性的，但在150万个素数时（7秒对64秒），性能非常糟糕。知道我做错了什么吗？我的猜测是，可能是数字太大了，或者是更新可变集的效率太低了Performance Clojure在集合更新或大量计算方面的性能,performance,clojure,Performance,Clojure,我正试图用筛子算法求一个Euler项目问题的素数。我使用可变集合来存储非素数的数字，并使用“dosync”和“communite”来更新该集合（否则，如果它是不可变的，我的内存就用完了）。在120万个素数之前，性能基本上是线性的，但在150万个素数时（7秒对64秒），性能非常糟糕。知道我做错了什么吗？我的猜测是，可能是数字太大了，或者是更新可变集的效率太低了 (defn mark-multiples [not-prime-set multiple prime-max] (loop [ cou
(defn mark-multiples [not-prime-set multiple prime-max]
(loop [ counter (long 2)
product (* counter multiple)]
(if (> product prime-max) not-prime-set
(do
(dosync (commute not-prime-set conj product))
(recur (inc counter) (* (inc counter) multiple))))))
(defn sieve-summation [prime-max]
(def not-prime-set (ref #{ (long 1) }) )
(loop [counter (long 2)
summation (long 0)]
(if (> counter prime-max) summation
(if (not (contains? @not-prime-set counter))
(do
(mark-multiples not-prime-set counter prime-max)
(recur (inc counter) (+ summation counter)))
(recur (inc counter) summation)))))
(defn mark-multiples2 [not-prime-set prime prime-max]
(loop [multiple (* 2 prime) nps not-prime-set ]
(if (> multiple prime-max)
nps
(recur (+ multiple prime) (conj! nps multiple)))))
(defn sieve-summation2 [prime-max]
(loop [counter 2, summation 0, not-prime-set (transient #{1})]
(if (> counter prime-max)
summation
(if (not-prime-set counter)
(recur (inc counter) summation not-prime-set)
(recur (inc counter)
(+ summation counter)
(mark-multiples2 not-prime-set counter prime-max))))))
454396537在Clojure中有更好、更优雅的方法来解决这个问题，但这不是你问题的重点 使用引用类型——不管它是ref，或者更恰当地说是atom——在这里对您没有任何帮助。你仍然在制造同样多的垃圾。您只需将可变存储位置的内容从一个不变的数据结构交换到另一个不变的数据结构。我不知道是什么导致了你的时间尖峰，但有一种可能是你触发了一个很长的垃圾收集周期 你想在这里使用的是。在不过度更改代码的情况下，以下内容应该是一个显著的加速
(defn mark-multiples [not-prime-set multiple prime-max]
(loop [m (* 2 multiple), nps (transient not-prime-set)]
(if (> m prime-max)
(persistent! nps)
(recur (+ m multiple) (conj! nps m)))))
(defn sieve-summation [prime-max]
(loop [counter 2, summation 0, not-prime-set #{1}]
(if (> counter prime-max)
summation
(if (contains? not-prime-set counter)
(recur (inc counter) summation not-prime-set)
(recur (inc counter)
(+ summation counter)
(mark-multiples not-prime-set counter prime-max))))))
(defn mark [s n m]
(into s (range (* 2 n) m n)))
(defn prime-sum [m]
(let [step (fn [[a s] n]
(if (s n)
[a s]
[(+ a n) (mark s n m)]))]
(first (reduce step [0 #{}] (range 2 m)))))
从这里开始，您可能开始攻击算法固有的内存问题——您正在存储所有非素数，而您只需要在任何给定点存储下一个非素数。要想更好地实现这个想法，请参阅Christophe Grand的文章。在Clojure中有更好、更优雅的方法来解决这个问题，但这不是你问题的重点 使用引用类型——不管它是ref，或者更恰当地说是atom——在这里对您没有任何帮助。你仍然在制造同样多的垃圾。您只需将可变存储位置的内容从一个不变的数据结构交换到另一个不变的数据结构。我不知道是什么导致了你的时间尖峰，但有一种可能是你触发了一个很长的垃圾收集周期 你想在这里使用的是。在不过度更改代码的情况下，以下内容应该是一个显著的加速
(defn mark-multiples [not-prime-set multiple prime-max]
(loop [m (* 2 multiple), nps (transient not-prime-set)]
(if (> m prime-max)
(persistent! nps)
(recur (+ m multiple) (conj! nps m)))))
(defn sieve-summation [prime-max]
(loop [counter 2, summation 0, not-prime-set #{1}]
(if (> counter prime-max)
summation
(if (contains? not-prime-set counter)
(recur (inc counter) summation not-prime-set)
(recur (inc counter)
(+ summation counter)
(mark-multiples not-prime-set counter prime-max))))))
(defn mark [s n m]
(into s (range (* 2 n) m n)))
(defn prime-sum [m]
(let [step (fn [[a s] n]
(if (s n)
[a s]
[(+ a n) (mark s n m)]))]
(first (reduce step [0 #{}] (range 2 m)))))
从这里开始，您可能开始攻击算法固有的内存问题——您正在存储所有非素数，而您只需要在任何给定点存储下一个非素数。关于这个想法的漂亮实现，请参阅Christophe Grand的文章。我使用了Eclipse的逆时针插件，它使用的是Clojure 1.5，我相信是因为我有jdk 1.6。我升级到JDK1.7，并将project.clj更新为使用Clojure1.6.0，并且没有任何内存/速度问题。
谢谢你的建议。我使用了Eclipse的逆时针插件，它使用的是Clojure 1.5，我相信是因为我有jdk 1.6。我升级到JDK1.7，并将project.clj更新为使用Clojure1.6.0，并且没有任何内存/速度问题。
谢谢你的建议。你的jvm的堆大小是多少？我不认为-Xmx1GYou的降级应该使用Clojure 1.6-哈希经过了彻底的修改，对于这个特定的用例可能会更好。谢谢，我会尝试一下。在Mac上运行Clojure，你们都推荐什么？我感谢任何能提升我声誉的投票：）除了你选择的编辑之外，莱宁根（莱恩）是你所需要的一切。直接从站点安装，因为包管理器提供过时的版本。jvm的堆大小是多少？我不认为-Xmx1GYou的降级应该使用Clojure 1.6-哈希经过了彻底的修改，对于这个特定的用例可能会更好。谢谢，我会尝试一下。在Mac上运行Clojure，你们都推荐什么？我感谢任何能提升我声誉的投票：）除了你选择的编辑之外，莱宁根（莱恩）是你所需要的一切。直接从站点安装，因为软件包管理器提供了过时的版本。我用代码编辑了上面的问题，以加快安装速度。我很感激你的任何其他建议，谢谢。谢谢你分享这个惯用的风格。我花了一些时间才弄明白reduce是如何工作的，非常流畅。我用代码编辑了上面的问题，以加快速度。我很感激你的任何其他建议，谢谢。谢谢你分享这个惯用的风格。我花了一些时间才弄明白减压器是如何工作的，非常灵活。