Permitido coger medio día de fiesta solo?

En mi empresa nos han prohibido coger medio día de vacaciones o de asuntos propios, aunque el comité nos comenta que es ileagal y que deberían dejarnos.

¿Es legal o illegal? Quien determina si se puede o no coger solo 4h (medio día) de fiesta, ¿de vacaciones y/o asuntos propios? ¿Lo debe especificar en algún sitio en concreto?