Cambio constante en turnos de trabajo

Trabajo en una empresa a turnos rotativos semanales de noche, tarde y mañana. Cada cierto tiempo, cuando hay un compañero enfermo o quieren que reforcemos un turno, nos piden mí o a algún otro que cambiemos de turno, normalmente por un día o dos. Antes, cuando éramos dos por turno en este puesto de trabajo, nos hacían estas peticiones de vez en cuando. Pero hace algunos meses despidieron a una compañera (alegando circunstancias de la producción) y poco después su compañero cogió una baja por enfermedad que necesariamente era de larga duración. El caso es que en vez de cubrir estos puestos, siempre recurren a los tres que quedamos (dos en un turno y uno en otro) para cubrir los tres turnos, pidiéndonos que cambiemos constantemente según a ellos les convenga. Como en el turno de mañana apenas hay trabajo, siempre que me toca el de mañana me piden que cambie al de noche o al de tarde y que luego regrese a mi turno. En septiembre hice dos semanas de noche, una de tarde y dos de noche, y a partir de ahí empecé a tener problemas de salud que me están afectando bastante. A otro compañero, que siempre se niega a cambiar, lo obligaron mediante un burofax y tuvo que cambiar la mañana por la noche también. Y además siempre nos avisan con un día de antelación o, como mucho, con tres o cuatro días. Ahora me han pedido que vuelva a cambiar (noche-tarde-noche-tarde) y me he negado y mi compañero también. Esto se ha convertido en algo habitual para ellos y no podemos seguir así. Ahora nos están presionando muchísimo. ¿Qué podemos hacer? ¿Nos pueden obligar a cambiar de esta manera?