¿Si justifico una ausencia laboral por ir al médico me descuentan vacaciones?

Soy una trabajadora de ESPAÑA. Mi trabajo es de marketing en una oficina y se rige por el Convenio Colectivo del Metal de la C. De Madrid.

El lunes me encontraba mal por un resfriado/gripe que llevaba acusando varios días. Decidí faltar al trabajo e ir al médico. Como fui al médico de familia, y éste tiene horario de tardes, llegué al centro de salud a las dos y pico y me atendieron a las tres y pico de la tarde.

Como pensaba ir al trabajo al día siguiente no pedí baja, solo el justificante de haber estado en el médico ese día.

Ahora en mi empresa me han dicho que como en el justificante pone que la hora es a las 3, que por ese motivo me tienen que quitar medio día de vacaciones. ¿Eso está bien? Yo no he estado de vacaciones y encima he justificado mi falta.