Como purgar radiadores de agua

Tengo un radiador que hace un ruido parecido al de un grifo, cuando enciendo la calefacción, me imagino que es aire pero no se si tengo que purgar el radiador con la caldera encendida o apagada. Me lo podéis explicar. Y como se cuando ya no queda aire.