Download LSF工作组不与bsub一起工作

Download LSF工作组不与bsub一起工作,download,wget,lsf,Download,Wget,Lsf,我正试图通过lsf系统在服务器上运行一个脚本来提交作业。当我在不使用bsub的情况下运行wget时,wget成功地下载了我想要得到的文件。但是,当我在bsub中运行相同的命令时,作业会运行,但是无论我允许作业运行多长时间,wget都会被卡住(下载文件应该只需要大约10秒)。以下是我运行的命令: wget ftp://ftp-trace.ncbi.nih.gov/1000genomes/ftp/data/NA19238/sequence_read/ERR000018.filt.fastq.gz #

我正试图通过lsf系统在服务器上运行一个脚本来提交作业。当我在不使用bsub的情况下运行wget时,wget成功地下载了我想要得到的文件。但是,当我在bsub中运行相同的命令时,作业会运行,但是无论我允许作业运行多长时间,wget都会被卡住(下载文件应该只需要大约10秒)。以下是我运行的命令:

wget ftp://ftp-trace.ncbi.nih.gov/1000genomes/ftp/data/NA19238/sequence_read/ERR000018.filt.fastq.gz #This one runs no problems.

bsub -q short -J wgettest -oo wtest.out -eo wtest.err wget ftp://ftp-trace.ncbi.nih.gov/1000genomes/ftp/data/NA19238/sequence_read/ERR000018.filt.fastq.gz #This one does not work. :(
作业的stderr文件如下所示

--2012-07-05 20:57:59-- 38/sequence_read/ERR000018.filt.fastq.gz =>`ERR000018.filt.fastq.gz' 正在解析ftp trace.ncbi.nih.gov。。。130.14.250.10 连接到ftp trace.ncbi.nih.gov | 130.14.250.10 |:21。。。有联系的。 以匿名身份登录。。。 登录不正确


有人有什么建议吗?提前感谢。

执行命令的机器很可能没有Internet访问权限

这些命令在分配资源后的节点上运行


检查是否有可以与系统耦合的代理,然后通过该代理执行wget

执行命令的计算机很可能没有Internet访问权限

这些命令在分配资源后的节点上运行


检查是否有可以与系统耦合的代理,然后通过该代理执行wget

在beowulf集群中,工作节点与外部网络断开是标准做法。当您使用bsub提交作业时,作业正在工作节点上运行,因此无法访问internet。这就是为什么到集群的连接必须始终通过一个头部节点进行。通常,在提交作业之前,您应该在head节点(不带bsub)上手动下载任何需要的文件。如果您必须能够从工作节点下载某些内容,则可能会出现某种隧道,但您必须与群集管理员联系。

在beowulf群集中,工作节点与外部网络断开是标准做法。当您使用bsub提交作业时,作业正在工作节点上运行,因此无法访问internet。这就是为什么到集群的连接必须始终通过一个头部节点进行。通常,在提交作业之前,您应该在head节点(不带bsub)上手动下载任何需要的文件。如果您必须能够从worker节点下载某些内容,则可能会出现某种隧道,但您必须与群集管理员谈谈这一点。

目前整个服务器似乎已关闭。。。所以我无法尝试,但是如果直接从一个计算节点提交作业会发生什么?这可能吗?试试wget-d。发布输出。整个服务器目前似乎已关闭。。。所以我无法尝试,但是如果直接从一个计算节点提交作业会发生什么?这可能吗?试试wget-d。发布输出。