Parallel processing 在GPU上运行BERT as服务以进行并行处理
我最近开始使用BERT作为我在这里找到的服务-> 我通过将服务器作为作业提交到Parallel processing 在GPU上运行BERT as服务以进行并行处理,parallel-processing,gpu,slurm,sbatch,Parallel Processing,Gpu,Slurm,Sbatch,我最近开始使用BERT作为我在这里找到的服务-> 我通过将服务器作为作业提交到slurm来启动服务器。下面是我提交的工作脚本 #/bin/bash #SBATCH-p gpu20 #SBATCH—节点1 #SBATCH——gres gpu:4 #SBATCH—每个任务的CPU 20 #SBATCH-o example.log 康达激活环境3 导出CUDA_可见_设备=1-40 导出GPU_设备_序号=1-40 echo${GPU\U设备顺序} echo${CUDA\u可见设备} bert服务开始
slurm#/bin/bash
#SBATCH-p gpu20
#SBATCH—节点1
#SBATCH——gres gpu:4
#SBATCH—每个任务的CPU 20
#SBATCH-o example.log
康达激活环境3
导出CUDA_可见_设备=1-40
导出GPU_设备_序号=1-40
echo${GPU\U设备顺序}
echo${CUDA\u可见设备}
bert服务开始-型号目录/型号/未分类的型号L-12\U H-768\U A-12/\
-工人人数20\
-最大长度300\
-面具(cls)(sep)\
-设备地图01 2 3 4 5 6 7 8 9 10 11 13 14 15 16 17 18 19
SBATCH