如何用新的TCK替换比较陈旧的TCK?

关于TCK的介绍: https://twiki.cern.ch/twiki/bin/view/LHCb/TCK

  • 准备工作:
  • 具体过程:
  • 注意事项:
    • Dirac空间:首先需要每天关注一下你的Dirac剩余空间。 在LHCb每人的默认空间是2T,每个1M MC events大约是250 G,这样的话4M MC events在第三个步骤就会把你的grid空间填满,后续的工作会出错。
      • 如何查看的Dirac空间占用情况?
        > setup SetupProject LHCbDirac
        > lhcb-proxy-init
        > dirac-dms-storage-usage-summary --Dir /lhcb/user/h/hyin (替换成你的用户名)

      • 如何删除Dirac文件?这里有一个脚本 generate_Dirac_remove_script.sh,来判断某个Dirac文件已经完成,并且它作为输入文件的后续工作也已经完成,那么这个Dirac文件就可以被删除了。

        #!/bin/tcsh
        removed_dst="l0_infor_removed.dst"
        #removed_dst="L0_infor_added.dst"
        grep ${removed_dst} ~/skimming/*/0/output/summary* | grep LFN | awk '{print $4}' | sed 's#\:#\ #g' | sed 's#\"#\ #g' | awk '{print "dirac-dms-remove-files " $3}'

      • 脚本中~/skimming/是我的ganga的输出路径,根据自己情况修改,例如,改成~/gangadir/workspace/hyin/LocalXML/
      • 根据情况删除那些Dirac文件,比如删除第一步的输出文件就设置removed_dst="l0_infor_removed.dst",同理第二步输出文件可设置removed_dst="l0_infor_added.dst"
      • > sh generate_Dirac_remove_script.sh > remove_list.sh
      • > source remove_list.sh

    • 每天需要登陆ganga,运行gridProxy.renew().因为整个流程需要1-2周时间,没有更新grid使用权限的话,会出现问题的。

    • 失败或者丢失的工作如何找回?
      • LHCbTransform 的各步骤之间的subjob没有任何实际意义上的关联。采取的先运行先给编号,所以第一步的subjobs(0)可能对应第二步的subjobs(20) ... 所以当某个工作出现严重问题时,我们直观上根本不知道它对应的上游subjobs的编号。
      • 为了解决这个问题,找到各个步骤之间的工作从属关系,写了这个脚本 check_relation.sh
      • 脚本中第一行,TASKSNUM=0,这个看具体的task number,在ganga里面运行 tasks.table(),会得到正在运行的tasks的编号
      • 同上,“~/skimming”改成你的ganga 输出目录
      • 需要一个输入文件,就是所有ganga jobs的list, 我是在ganga中运行jobs,然后把输出拷到一个文本文件 1 中 (脚本默认的是用1这个文件,可以在第四行改掉)
        > sh check_relation.sh

    • 本地运行:
      • 有某些jobs可能一周多都没完成,这种情况下,我们希望可以在本地运行
      • 把最后完成步骤的dirac文件拷回来,然后拆分LHCbTransform的各个步骤

    • TISTOS bug fix:
      • 根据合作组的讨论,2015的data中的TISTOS 信息是有错误的,会出现mismatch的情况。
      • 主要影响Davinci版本v38r0已经之前的Davinci版本,应该很快会有bug fixed的软件包更新出来
      • 邮件里提供了解决方案,但是不是很清楚,所以这里把我的解决方法说一下
      • 建立本地的Davinci目录
        > SetupProject DaVinci v38r0 --build-env
        > cd ~/cmtuser/DaVinci_v38r0/
        > SetupProject DaVinci v38r0
        > getpack Event/HltEvent head
        > getpack Hlt/HltDAQ head
        > getpack Phys/TisTosTobbing head
        > getpack Phys/DecayTreeTupleReco head
        > getpack Phys/DecayTreeTuple head
      • 编译下载到本地的package
        > cd Event/HltEvent/cmt
        > cmt make
        ..............
        > cd Phys/DecayTreeTuple/cmt
        > cmt make
      • 然后在Davinci脚本里添加
        DaVinci(version = "v38r0",
        setupProjectOptions = '--use-grid',
        user_release_area = '/afs/cern.ch/user/h/hyin/cmtuser', ## 换成自己的目录
        masterpackage = 'Phys/DecayTreeTuple',
        platform='x86_64-slc6-gcc48-opt')

      • 当然在transform脚本里的Davinci信息也需要更新
-- HangYin - 2015-11-10
Topic attachments
I Attachment History Action Size Date Who Comment
Texttxt Bu2JpsiK_MagDown_new.py.txt r1 manage 9.1 K 2015-11-10 - 21:21 HangYin Add scripts for the TCK replacement for 2015 EM MC.
Texttxt Bu2JpsiK_MagUp_new.py.txt r1 manage 9.1 K 2015-11-10 - 21:21 HangYin Add scripts for the TCK replacement for 2015 EM MC.
Unix shell scriptsh check_relation.sh r1 manage 4.5 K 2015-11-10 - 21:49 HangYin  
Texttxt ganga_transform_MagDown.py.txt r1 manage 3.6 K 2015-11-10 - 21:21 HangYin Add scripts for the TCK replacement for 2015 EM MC.
Texttxt ganga_transform_MagUp.py.txt r1 manage 3.6 K 2015-11-10 - 21:21 HangYin Add scripts for the TCK replacement for 2015 EM MC.
Unix shell scriptsh generate_Dirac_remove_script.sh r2 r1 manage 0.2 K 2015-11-10 - 21:42 HangYin  
Texttxt step_1_l0_remove.py.txt r1 manage 0.7 K 2015-11-10 - 21:19 HangYin  
Texttxt step_2_l0_add_MagDown.py.txt r1 manage 0.3 K 2015-11-10 - 21:21 HangYin Add scripts for the TCK replacement for 2015 EM MC.
Texttxt step_2_l0_add_MagUp.py.txt r1 manage 0.3 K 2015-11-10 - 21:21 HangYin Add scripts for the TCK replacement for 2015 EM MC.
Texttxt step_3_hlt_remove.py.txt r1 manage 1.0 K 2015-11-10 - 21:21 HangYin Add scripts for the TCK replacement for 2015 EM MC.
Texttxt step_4_hlt_add_MagDown.py.txt r1 manage 1.0 K 2015-11-10 - 21:21 HangYin Add scripts for the TCK replacement for 2015 EM MC.
Texttxt step_4_hlt_add_MagUp.py.txt r1 manage 1.0 K 2015-11-10 - 21:21 HangYin Add scripts for the TCK replacement for 2015 EM MC.
Edit | Attach | Watch | Print version | History: r3 < r2 < r1 | Backlinks | Raw View | WYSIWYG | More topic actions
Topic revision: r3 - 2015-11-28 - HangYin
 
    • Cern Search Icon Cern Search
    • TWiki Search Icon TWiki Search
    • Google Search Icon Google Search

    Sandbox All webs login

This site is powered by the TWiki collaboration platform Powered by PerlCopyright &© 2008-2020 by the contributing authors. All material on this collaboration platform is the property of the contributing authors.
or Ideas, requests, problems regarding TWiki? use Discourse or Send feedback