在暴风雨中使用外部库(Python)的限制
我想实现一个Bolt(),它使用scikit机器学习API()对元组进行一些繁重的处理 例如—在暴风雨中使用外部库(Python)的限制,python,scikit-learn,apache-storm,Python,Scikit Learn,Apache Storm,我想实现一个Bolt(),它使用scikit机器学习API()对元组进行一些繁重的处理 例如— from sklearn import decomposition from sklearn import datasets trans_corpus = vectorizer.fit_transform(corpus) tfidf = text.TfidfTransformer().fit_transform(trans_corpus) ... ... 这可能吗? 在集群中的每个节点上安装skl
from sklearn import decomposition
from sklearn import datasets
trans_corpus = vectorizer.fit_transform(corpus)
tfidf = text.TfidfTransformer().fit_transform(trans_corpus)
...
...
这可能吗?
在集群中的每个节点上安装sklearn及其所有依赖项是否足够 理论上,这应该是可能的,除非我不知道scikit有什么奇怪的地方。您只需要构建拓扑结构,以便可以用Python编写螺栓,我想您已经知道这是可能的,并且有很多示例。在启动新的管理器时,我使用
pip
安装所有Python依赖项。由于blas,lapack和gfortran依赖项不能与pip一起安装。此外,构建numpy和scipy可能需要很长时间。最好使用发行版的包管理器。