如何在新服务器上提交工作



新服务器是指在物理学院计算中心放置的5台服务器,可以使用cvmfs,具体名称分别是comput19, comput20, comput21, comput22, comput23。需要找张冬亮老师,或者严建桥老师来开新账号。

登陆新服务器地址:

ssh -p 1362 202.114.36.19
ssh -p 1362 202.114.36.20

使用slurm来提交集群工作:

sbatch skim_root_files.sh

slurm_submit.png

其中,skim_root_files.sh的内容如下:

#!/bin/bash
#SBATCH -J mySkim
#SBATCH -p high
#SBATCH -N 1
#SBATCH -n 1
#SBATCH -o log/Subjob_%j.out
#SBATCH -e log/Subjob_%j.err ## setup root

source /public/home/lhcb/softwares/ROOT/setup.sh 

## go to working directory
cd /public/home/yinh/workspaces/tupleReader
./run_resbos -c inputs/parameters.rc_ZResBos -n 10000000
 

具体参数含义:(这里的"#SBATCH"不是注视掉的意思,而是向slurm传递参数!)
-J : 提交工作的名称。比如这里是mySkim,可以任意命名。

-p: high 目标集群名称。 注意,这里必须是high !!其它集群我们组没有权限提交。

-N: 使用节点个数,根据自己工作的要求自己设定

-n: 使用CPU的个数,根据自己工作的要求自己设定

-o: log 文件的输出路径。这里放到了log/Subjob_%j.out,那么需要提前创建log文件夹。

-e:错误信息输出路径。如果没有错误,那么它就是一个空文件。

下面是具体的运行,包括root路径的设置,到达工作目录,执行命令等等。

slurm其它命令:


sinfo :查看集群的信息
scontrol show partition :查看集群的详细信息
squeue:查看排队信息
sbatch : 提交工作
scancel <job_id>: 取消工作

此外,还可以通过网页来查看工作的状态:

网址: http://202.114.36.19:6080 (使用集群的用户名,密码)

Fig_login.png

登陆之后的界面,点击 右上角 “Job List”

Fig_screen.png

会显示出正在运行的job,以及刚完成的job。可以挂这个网页查看job状态。

Fig_status.png

临时使用其它集群机器:



如果有大量子工作,急需CPU,而集群上其它组的电脑有空闲(idle)的话,可以短时间使用一下。

slurm_sinfo.png

举个例子:

slurm_othernode.png

这里,我们在服务器上安装了最新版本的ROOT6,有使用ROOT的脚本、工作,可以在集群所有的节点上运行。但是,运行之前还需查看是否有空闲的CPU!

source /public/home/lhcb/softwares/ROOT/setup.sh

记住,这是你的个人行为,跟我们组没有关系 wink !!

-- HangYin - 2020-09-16

Topic attachments
I Attachment History Action Size Date Who Comment
PNGpng Fig_login.png r1 manage 164.5 K 2020-09-16 - 15:02 UnknownUser  
PNGpng Fig_screen.png r1 manage 322.0 K 2020-09-16 - 15:02 UnknownUser  
PNGpng Fig_status.png r1 manage 280.2 K 2020-09-16 - 15:02 UnknownUser  
PNGpng slurm_othernode.png r1 manage 349.0 K 2020-09-16 - 15:29 UnknownUser  
PNGpng slurm_sinfo.png r1 manage 131.3 K 2020-09-16 - 15:29 UnknownUser  
PNGpng slurm_submit.png r1 manage 27.5 K 2020-09-16 - 15:29 UnknownUser  
Edit | Attach | Watch | Print version | History: r1 | Backlinks | Raw View | WYSIWYG | More topic actions
Topic revision: r1 - 2020-09-16 - unknown
 
    • Cern Search Icon Cern Search
    • TWiki Search Icon TWiki Search
    • Google Search Icon Google Search

    Sandbox All webs login

This site is powered by the TWiki collaboration platform Powered by PerlCopyright &© 2008-2021 by the contributing authors. All material on this collaboration platform is the property of the contributing authors.
or Ideas, requests, problems regarding TWiki? use Discourse or Send feedback