Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/performance/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Performance 如何将Stanford命名实体识别器与多线程一起使用?_Performance_Stanford Nlp - Fatal编程技术网

Performance 如何将Stanford命名实体识别器与多线程一起使用?

Performance 如何将Stanford命名实体识别器与多线程一起使用?,performance,stanford-nlp,Performance,Stanford Nlp,是否可以使用多线程和Stanford命名的实体识别器来提高运行时性能?如果是这样,怎么做?大约几个月前,我也遇到了同样的问题。 我想在一个大型语料库上进行NE提取,同时使用Lucene自定义分析器为其编制索引。 我解决这个问题的方法是使用生产者/消费者结构,这可能是你想要的,也可能不是你想要的。 我让N-4个线程读取文档,并以循环方式将其发送到系统上三个命名管道中的一个。 三个管道的接收端是Rest部署表单中的Stanforder实例,它们都加载了相同的模型 代码是python+多处理。我会张贴

是否可以使用多线程和Stanford命名的实体识别器来提高运行时性能?如果是这样,怎么做?

大约几个月前,我也遇到了同样的问题。 我想在一个大型语料库上进行NE提取,同时使用Lucene自定义分析器为其编制索引。 我解决这个问题的方法是使用生产者/消费者结构,这可能是你想要的,也可能不是你想要的。 我让N-4个线程读取文档,并以循环方式将其发送到系统上三个命名管道中的一个。 三个管道的接收端是Rest部署表单中的Stanforder实例,它们都加载了相同的模型

代码是python+多处理。我会张贴代码,但它有太多的项目具体的东西,我需要清理

下面是一些资源指针。 NER部署 多处理

PS:N是系统可以运行的线程总数。

请记住,在我的例子中,我对系统的内存没有任何限制,因为我有足够的可用内存(大约70GB),所以在同一个系统上加载三个NER实例不会对性能降低产生太大影响

你试过什么/在哪里寻找那个问题的答案?你已经写代码了吗?请分享你的初步研究。好的。是什么阻止你向它扔一堆线?API不是可重入的,或者不是设计用于多线程的?这是围绕http端点调用的python包装。