Matrix 稀疏输入的非负矩阵分解

Matrix 稀疏输入的非负矩阵分解,matrix,factorization,Matrix,Factorization,有谁能推荐一套工具来对稀疏输入数据[matrix of size 50kx50k]执行标准NMF应用,谢谢 scikit learn具有的实现。不过,您需要GitHub的最新版本,因为0.14之前(包括0.14)的所有发布版本都存在可伸缩性问题。下面是一个演示 加载一些数据:二十个新闻组文本语料库 >>> from sklearn.datasets import fetch_20newsgroups >>> from sklearn.decomposition

有谁能推荐一套工具来对稀疏输入数据[matrix of size 50kx50k]执行标准NMF应用,谢谢

scikit learn具有的实现。不过,您需要GitHub的最新版本,因为0.14之前(包括0.14)的所有发布版本都存在可伸缩性问题。下面是一个演示

加载一些数据:二十个新闻组文本语料库

>>> from sklearn.datasets import fetch_20newsgroups
>>> from sklearn.decomposition import NMF
>>> from sklearn.feature_extraction.text import CountVectorizer
>>> from sklearn.preprocessing import normalize
>>> data = fetch_20newsgroups().data
>>> X = CountVectorizer(dtype=float).fit_transform(data)
>>> X = normalize(X)
>>> X
<11314x130107 sparse matrix of type '<type 'numpy.float64'>'
    with 1787565 stored elements in Compressed Sparse Column format>
我调整了容差选项,使其在几秒钟内收敛。使用默认公差时,需要花费相当长的时间。此问题的内存使用量约为360MB


免责声明:我是此实现的参与者,因此这不是无偏见的建议。

scikit learn有一个的实现。不过,您需要GitHub的最新版本,因为0.14之前(包括0.14)的所有发布版本都存在可伸缩性问题。下面是一个演示

加载一些数据:二十个新闻组文本语料库

>>> from sklearn.datasets import fetch_20newsgroups
>>> from sklearn.decomposition import NMF
>>> from sklearn.feature_extraction.text import CountVectorizer
>>> from sklearn.preprocessing import normalize
>>> data = fetch_20newsgroups().data
>>> X = CountVectorizer(dtype=float).fit_transform(data)
>>> X = normalize(X)
>>> X
<11314x130107 sparse matrix of type '<type 'numpy.float64'>'
    with 1787565 stored elements in Compressed Sparse Column format>
我调整了容差选项,使其在几秒钟内收敛。使用默认公差时,需要花费相当长的时间。此问题的内存使用量约为360MB


免责声明:我是此实现的参与者,因此这不是一个公正的建议。

这非常有用,我一直在尝试,但没有成功。顺便问一下,有人知道是否有任何NMF R包可以处理如此大小的数据吗?这非常有用,我一直在尝试,但没有成功。顺便问一下,有人知道是否有任何NMF R包可以处理如此大小的数据吗?