¿Días por muerte de un familiar o vacaciones?

Mi hermano murió en Tenerife el 29 de octubre. Pedí a la embajada para la que trabajo permiso para viajar ese mismo día y disfrutar a continuación de los días de vacaciones que me restaban. Ahora me dicen que no tengo derecho a los 4 días por muerte de un familiar porque mi hermano murió durante mis vacaciones. ¿Es esto así o todo lo contrario?