Permiso para visita médico en otra localidad

Buenos días, mi marido tiene establecido en convenio que tiene permiso retribuido por el tiempo imprescindible para la asistencia a consulta médica presentando el justificante, sin que este beneficio PUEDA EXCEDER DE TRES VECES AL AÑO. ¿Es esto legal?
En la práctica, tienen un pacto no escrito, por el que pueden ir al médico siempre que no inviertan mucho tiempo (una hora o dos como mucho). Mi problema es que tenemos que acudir a Madrid a consultas de reproducción asistida, y como vivimos en Burgos perdemos casi todo el día en ir y volver.
Ya le pregunté sobre este tema y me contestó que sí tenia derecho, pero mi marido teme sobrepasar los TRES DÍAS y que le descuenten el sueldo o le sancionen, porque seguramente vamos a tener que acudir a Madrid más de tres días.
Yo no entiendo esa doble vara de medir, ¿si pierdes dos horas en ir al médico no pasa nada pero si pierdes cuatro si pasa? ¿Ese pacto verbal tiene alguna validez? ¿Realmente solo puede ir tres veces al médico como dice el convenio?