Eso solo podría ser así si su Convenio Colectivo así lo expresa, pero nunca he visto una estipulación del estilo a la que comenta, si bien desconozco cuál es su Convenio, muy posiblemente lo que le dice su jefe no sea cierto.
Por otro lado los días festivos normalmente deben estar mejor retribuidos que los días laborables, por lo que si su jefe pretende que no disfrute de más domingos compruebe qué tipo de salario se abona por festivos y, si no tiene más remedio que trabajar en domingo, reclame una retribución mayor por ellos.
Agradecemos que valore la respuesta si ésta le ha resulta útil.