Python Scikit最大处理数据限制

Python Scikit最大处理数据限制,python,recommender-systems,Python,Recommender Systems,如果我有9-1000万的收视率,我可以在大型项目中使用scikit惊喜吗?我将使用惊奇库的svd算法,所以我在想,这个轻量级库是否可以处理这么多推荐,或者我需要spark?他们的网站显示了100k和1M评级的示例以及处理时间。看起来时间是O(N),所以相应地乘以采样时间,看看这对你来说是否太长。Tim,我在那里看到了一个有svd算法和100k数据的网站,它需要11秒,有一百万个需要2分11秒,所以它实际上是预期时间的两倍。我认为那样计算是不明智的。还有别的办法吗?

如果我有9-1000万的收视率,我可以在大型项目中使用scikit惊喜吗?我将使用惊奇库的svd算法,所以我在想,这个轻量级库是否可以处理这么多推荐,或者我需要spark?

他们的网站显示了100k和1M评级的示例以及处理时间。看起来时间是O(N),所以相应地乘以采样时间,看看这对你来说是否太长。Tim,我在那里看到了一个有svd算法和100k数据的网站,它需要11秒,有一百万个需要2分11秒,所以它实际上是预期时间的两倍。我认为那样计算是不明智的。还有别的办法吗?