Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/363.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 大数据上的K-均值小批量内存错误_Python_Scikit Learn_Svm_K Means_Mini Batch - Fatal编程技术网

Python 大数据上的K-均值小批量内存错误

Python 大数据上的K-均值小批量内存错误,python,scikit-learn,svm,k-means,mini-batch,Python,Scikit Learn,Svm,K Means,Mini Batch,我使用sklearn Kmeans Minibatch对大数据进行聚类,结果出现内存错误 以下是我的笔记本电脑配置,此配置工作正常: 核心i5 64位 Python 3.6.2 8GB内存 我将TfidfVectorizerX存储在.npz文件(426MB)中。然后,我使用不同数量的集群对该X执行多次集群 X=sparse.load\u npz(“D:\clustering\u final\sp-k2.npz”) n_样本:850900,n_特征:1728098 使用MiniBatchKMean

我使用sklearn Kmeans Minibatch对大数据进行聚类,结果出现内存错误

以下是我的笔记本电脑配置,此配置工作正常:

  • 核心i5 64位
  • Python 3.6.2
  • 8GB内存
  • 我将TfidfVectorizerX存储在.npz文件(426MB)中。然后,我使用不同数量的集群对该X执行多次集群

    X=sparse.load\u npz(“D:\clustering\u final\sp-k2.npz”)

    n_样本:850900,n_特征:1728098

    使用MiniBatchKMeans对稀疏矩阵数据进行聚类

    批处理大小=1000,n_集群=500,计算标签=True,init='k-means++',n_init=100

    我的python脚本在这个笔记本电脑配置上运行得很好,但是当我在另一台笔记本电脑上使用相同的python(复制的python36文件夹都是一样的)时,会出现内存错误。即使其他笔记本电脑的配置很高:

  • 核心i5 64位
  • Python 3.6.2
  • 16GB内存

    km.配合(X)
    文件“C:\python36\lib\site packages\sklearn\cluster\k_means_u.py”,第1418行,在fit init_size=init_size中)
    文件“C:\python36\lib\site packages\sklearn\cluster\k_means_u.py”,第684行,在_init_质心x_平方_norms=x_平方_norms中)
    文件“C:\python36\lib\site packages\sklearn\cluster\k_means_uu.py”,第79行,在k_init centers=np.empty((n_集群,n_功能),dtype=X.dtype)
    存储器错误

  • 我检查了所有必需的库和其他依赖项,但它在低配置笔记本电脑上运行得非常好。为什么它不能在高配置的笔记本电脑上运行


    我知道这听起来很奇怪,但这是真的

    检查是否已安装64位python。是。。一切都是一样的。我把我的python36文件夹从一台笔记本电脑复制到另一台。检查你是否安装了64位python。是的。。一切都一样。我把我的python36文件夹从一台笔记本电脑复制到另一台。