¿Días de baja hacen que pierdas días de libranza?

Tenía una duda sobre un tema laboral. Trabajo en un centro deportivo, con contrato fijo hace 12 años, 40 horas semanales. Mi duda es, el Jueves me pusieron la vacuna y me dio una reacción, estuve 2 días con fiebre y no pude ir a trabajar. Mi médico de cabecera me dio la baja 3 días, Jueves, Viernes y Sábado. Yo libraba este Sábado, y mi jefe al tener que cubrir mis días de baja (la empresa nos tiene bajo mínimos ) me dice que debo recuperar esos días de la baja viniendo los días que libraba. ¿Entiendo qué eso no es así y que no tiene nada que ver esos días de baja con mis dos días de libranza y que no debería perderlos no?