Workflows and Jobs

Tipos de Workflow

# Nombre Descripcion Jobs
1. Express Solo toma los que dicen Express, ExpressCosmics, Express \ Se crean para reconstrucciones rapidas (de menos de un dia), se usa para calibraciones, es una retroalimentaci[on rapida \ Para Express solo usamos el Stream Express Express
2. Repack Toma los archivos .dat y los transforma en .root, Los archivos root son los que estan en los datasets que tienen raw al final cmsrun1, cmsrun2
|3.|PromptReco|Toma los archivos raw que salieron de Repack, hace la reconstruccion de los eventos (colisiones)\Archivos AOD -> subset de reco - Datasets livianos que se pueden analizar mas facilmente Reco -> Grandes faciles de almacenar. \ Para Los otros dse usan otros Streams *nano|

Repack + PromptReco mas o menos igual que Express

Jobs

Workflows de express

1. Jobs De Express: Tienen dos pasos CMSRUN1 y CMSRUN2

El primer paso coge los .dat y crea un archivo de salida. Crea un archivo local, (.root(

2. CMSRUN2 toma el .raw y crea un archivo de reconocimiento

Worflows de Repack dat->root

Es la misma idea, pero partido en dos tipos.

OTROS JOBS

+ Si por ejemplo la salida de Repack (archivo .root), es muy pequenio, toca juntarlos. Esto se hace con un MERGEJOB

Cogen los.root necesarioas para optimizar el almacenamiento en cinta uniendolos en un slo archivo

+ LOG COLLECT coge todos los tarball (tar.gz) que corrieron (tiene maximo 500 (o quiza 50) archivos) y los junta en un .tar y lo manda para Castor

+ CLEANUP Borra los tar y tar.gz y los archivos pequenitos (estos archivos pequenitos se guardan normalmente en /store/merge/) en CERN esto esta en EOS

+ HARVESTING corren al final de cada workflow de promptreco. No estamos muy seguros de lo que hacen.

+ Skim: ???

-- JohnHarveyCasallasLeon - 2015-02-17

Edit | Attach | Watch | Print version | History: r1 | Backlinks | Raw View | WYSIWYG | More topic actions
Topic revision: r1 - 2015-02-17 - JohnHarveyCasallasLeon
 
    • Cern Search Icon Cern Search
    • TWiki Search Icon TWiki Search
    • Google Search Icon Google Search

    Sandbox All webs login

This site is powered by the TWiki collaboration platform Powered by PerlCopyright & 2008-2021 by the contributing authors. All material on this collaboration platform is the property of the contributing authors.
or Ideas, requests, problems regarding TWiki? use Discourse or Send feedback