Información sobre el control por lotes y aspectos relacionados con válvulas y tapones

Entorno de ejecución en lotes (batch) PBS en HIDRA
Instrucciones de usuario
Los 15 nodos de HIDRA y sus 30 procesadores están definidos en el entorno PBS como un cluster. Todos los nodos hidra0 esta reservado para tareas interactivas. Para enviar un trabajo al sistema de colas, lo más recomendable es crear un script (un fichero de instrucciones) con la estructura siguiente
#!/bin/bash
#PBS -l nodes=1
#PBS -N nombre_del_job
cd directorio_de_ejecucion
a.out
Donde directorio_de_ejecucion corresponde al lugar en nuestra estructura de directorios donde se realizaran los cálculos, y a.out es el nombre del ejecutable, que debe encontrarse en directorio_de_ejecucion o bien en el $PATH del sistema. Se pueden solicitar otros recursos al sistema (tiempo de cpu, memoria ...) añadiendo más directivas de PBS de la forma
#PBS -l resource_list
Por defecto las tareas llevan asignado un límite máximo de memoria mem=150mb y de memoria virtual vmem=250mb. Estos valores se pueden modificar mediante la directiva -l mem=xxxMb,vmem=yyyMb. Las necesidades de memoria de un programa se pueden determinar ejecutándolo interactivamente y utilizando pues l para determinar vmem (VSZ) y top para determinar mem (SIZE). Los límites absolutos de memoria están fijados por el sistema respectivamente en mem=512mb y vmem=1024mb. Es posible asignar a cada tarea un área de disco temporal local en el nodo en el que se va a ejecutar la tarea, para ello el script anterior se puede modificar
#!/bin/bash
#PBS -l nodes=1
#PBS -N nombre_del_job
echo "Running on " `hostname`
scdir=$scratch/$PBS_JOBID
mkdir $scdir
cp $PBS_O_WORKDIR/input_files $scdir
cp $PBS_O_WORKDIR/a.out $scdir
cd $scdir
a.out
cp output_files $PBS_O_WORKDIR
La variable $PBS_O_WORKDIR contiene el nombre del directorio desde el que se va a enviar el script al sistema de colas. Con el uso de la instrucción
echo "Running on " `hostname`
Podremos identificar en la salida del programa en que nodo se ejecutó. El directorio $scdir creado en la máquina indicada se borra cada 5 días. El uso de directorios temporales esta recomendado para aquellos trabajos que hagan un uso intensivo de disco, con ficheros grandes para evitar sobrecarga en la red del cluster y optimizar el tiempo de ejecución. Una vez preparado el script (que llamaremos por ejemplo job1) se envía a la cola de batch con la instrucción
qsub job1
Y la evolución del trabajo se examina con qstat -n que nos indicará los recursos solicitados y usados (tiempo de cpu, memoria y nodos asignados). Un resultado típico de qstat -n sería
hidra0:
Req'd Req'd Elap
Job ID Username Queue Jobname SessID NDS TSK Memory Time S Time
--------------- -------- -------- ---------- ------ --- --- ------ ----- - -----
1692. Hidra0 sonia batch submit_alp 30695 1 -- -- -- R 166:2
hidra7/0
1694. Hidra0 sonia batch submit_bet 18784 1 -- -- -- R 166:1
hidra2/0
1729. Hidra0 sonia batch submit_alp 1836 1 -- -- -- R 135:5
hidra6/0
1730. Hidra0 sonia batch submit_alp 14739 1 -- -- -- R 20:31
hidra8/0
1731. Hidra0 sonia batch submit_bet 14146 1 -- -- -- R 20:21
hidra9/0
1732. Hidra0 sonia batch submit_alp 14651 1 -- -- -- R 17:01
hidra11/0
1735.hidra0 sonia batch submit_DLP 14486 2 -- -- -- R 15:22
hidra5/1+hidra5/0+hidra4/1+hidra4/0
1736. Hidra0 pjaramil batch job2 2210 1 -- -- -- R 04:11
hidra10/0
1737. Hidra0 pjaramil batch job1 2046 1 -- -- -- R 04:08
hidra13/0
Los trabajos se pueden eliminar de la cola de ejecución con
qdel Job_ID
Donde Job_ID es la identificación de la tarea que aparece el invocar qstat. Una v