Python Twisted中带关闭的多线程任务队列

Python Twisted中带关闭的多线程任务队列,python,concurrency,twisted,Python,Concurrency,Twisted,我正在尝试用Python编写多线程脚本来处理大型文件列表。在过去,我使用过像GNUPallel这样的实用程序,但是我的需求已经开始超过这个程序所能提供的 我已经用Java编写了一个简单的演示,演示了我在这里要做的事情: 公共类测试{ 私有ExecutorService ExecutorService=Executors.newFixedThreadPool(8); 公共静态void main(字符串[]args){ 执行器测试t=新的执行器测试(); t、 start(); } 公开考试(){

我正在尝试用Python编写多线程脚本来处理大型文件列表。在过去,我使用过像GNUPallel这样的实用程序,但是我的需求已经开始超过这个程序所能提供的

我已经用Java编写了一个简单的演示,演示了我在这里要做的事情:

公共类测试{
私有ExecutorService ExecutorService=Executors.newFixedThreadPool(8);
公共静态void main(字符串[]args){
执行器测试t=新的执行器测试();
t、 start();
}
公开考试(){
}
公开作废开始(){
文件f=新文件(“.”);
对于(文件:f.listFiles()){
最终字符串fullPath=file.getAbsolutePath();
this.executorService.submit(new Runnable()){
@凌驾
公开募捐{
//睡眠时间长达100毫秒
尝试{Thread.sleep(newdouble(Math.random()*100.0).longValue());}catch(InterruptedException e){}
System.out.println(完整路径);
}
});
}
此.executorService.shutdown();
试一试{
此.executorService.WaitTermination(Long.MAX_值,时间单位:秒);
}捕捉(中断异常e){
e、 printStackTrace();
}
}
}
我想在Twisted中做同样的事情,但我很难理解所有工作部件是如何组合在一起的,这样我就可以启动一个有界的多线程工作队列,然后等待它完成


你怎么用Twisted写这样的东西?我在Python中做了很多工作,所以我不是在学习Python,我只是想弄清楚如何使用Twisted。

Twisted是真正的需求吗?为什么不使用?Twisted并不是一个真正的需求,尽管我希望尽可能使用“实际”线程,而且我对“多处理”不感兴趣。我将查看threadpool,看看它是否满足我的需求。另外::“此模块被视为一个扩展示例,而不是一个成品。可以根据您的需要随意调整它。”为什么不进行多重处理?这是在python:D上完成的工作有多重要,而且线程总是有可用的方法。不产生多个进程是一个要求:一个进程有多个线程。