计算机集群中的python库

计算机集群中的python库,python,cluster-computing,remote-access,rsh,Python,Cluster Computing,Remote Access,Rsh,在计算机集群中运行python时,python在查找已安装的库时遇到了问题 当我尝试(例如)在脚本中加载numpy时: #file: /home/foo/test.py import numpy print numpy.__version__ 在服务器上,我得到以下信息: foo@abax:~$ python test.py 1.4.1 但是,当我尝试在具有远程shell的节点中运行相同的程序时,我得到一个错误: foo@abax:~$ rsh -l foo ab01 "pytho

在计算机集群中运行python时,python在查找已安装的库时遇到了问题

当我尝试(例如)在脚本中加载numpy时:

 #file: /home/foo/test.py
 import numpy 
 print numpy.__version__
在服务器上,我得到以下信息:

foo@abax:~$ python test.py 
1.4.1
但是,当我尝试在具有远程shell的节点中运行相同的程序时,我得到一个错误:

foo@abax:~$ rsh -l foo ab01 "python test.py"
Traceback (most recent call last):
  File "test.py", line 2, in <module>
    import numpy 
ImportError: No module named numpy
foo@abax:~$rsh-l foo ab01“python test.py”
回溯(最近一次呼叫最后一次):
文件“test.py”,第2行,在
进口numpy
ImportError:没有名为numpy的模块
有没有办法告诉python加载安装在集群中心节点中的文件?

首先要检查的事项:

  • 在前端服务器和群集节点上打印
    PYTHONPATH
    ,以确保不存在不一致性
  • 在前端服务器上打印
    numpy.\u_文件\u_
    ,以检查在何处找到numpy。然后稍微浏览一下集群节点的文件系统,看看是否可以在同一个位置找到numpy(如果没有,则运行搜索,看看是否可以找到它,然后相应地更新您的
    PYTHONPATH
可能只是numpy本地安装在前端服务器上,而不是集群节点上。在这种情况下,您需要自己在集群节点可以访问的文件系统上安装numpy(请注意,在科学集群上,最好让集群管理员在集群节点上安装numpy,使每个人都可以使用)

如果平台足够相似,那么将numpy文件夹从Forward server复制到共享文件系统中的某个位置(例如,您要添加到
PYTHONPATH
的home dir的子文件夹)可能会起作用,但最好是干净安装。

首先要检查的是:

  • 在前端服务器和群集节点上打印
    PYTHONPATH
    ,以确保不存在不一致性
  • 在前端服务器上打印
    numpy.\u_文件\u_
    ,以检查在何处找到numpy。然后稍微浏览一下集群节点的文件系统,看看是否可以在同一个位置找到numpy(如果没有,则运行搜索,看看是否可以找到它,然后相应地更新您的
    PYTHONPATH
可能只是numpy本地安装在前端服务器上,而不是集群节点上。在这种情况下,您需要自己在集群节点可以访问的文件系统上安装numpy(请注意,在科学集群上,最好让集群管理员在集群节点上安装numpy,使每个人都可以使用)


如果平台足够相似,那么将numpy文件夹从Forward server复制到共享文件系统中的某个位置(例如,您将添加到
PYTHONPATH
的home dir的子文件夹)可能会起作用,但最好是干净安装。

看看,这可能会对您有所帮助。看看,它可能会帮助你。PYTHONPATH是空的。。。集群节点中也没有库文件。我以为管理员复制了libs、includes等的目录。。。在所有节点中。我会问他这是否可行。如果没有,我将尝试在我的主文件夹(在所有节点中复制)中安装numpy:(PYTHONPATH为空…群集节点中也没有库文件。我以为管理员已在所有节点中复制了libs、include等的目录。我会问他这是否可行。如果不可行,我将尝试在我的主文件夹中安装numpy(在所有节点中都复制了该目录)。:(