¿Me pueden poner un descanso semanal en un festivo para no devermelo?

Trabajo en una empresa de limpieza, de lunes a domingo con mis descansos semanales totativos, la cosa es que cuando viene un festivo me ponen un día de descabso semanal en el festivo y me dicen que no es recuperable, me gustaría saber si es así.