Cambio de actividad en la empresa

Pertenezco al gremio del transporte, 7 años en la empresa de conductor de trailers, contrato 40 horas semanales de lunes a sábado, pero en la realidad echo 12 horas diarias de lunes a viernes, y sábado y domingos pactados verbalmente con un dinero extra, ahora con el tema crisis le sobra personal por todos los sitios nos comunican a los conductores por teléfono (nunca por escrito) y de la noche a la mañana que a partir de ahora nos pasaran a una fabrica con una pala cargadora a turnos el tiempo necesario hasta que los maquinistas que mi empresa tiene allí terminen los días de descanso compensatorio ya que los maquinistas están echando 48 horas semanales y para no pagarle horas extras se lo dan en descanso.
¿Es legal que haga esto con nosotros los conductores?
He preguntado a la empresa que pasara cuando me coincida un sábado domingo o festivo trabajando en esas condiciones, y la respuesta de mi jefe a sido así:
Mira ahora estas a 8 horas en fabrica y no tocarme los coj... Es y ademas tu llamada me esta siendo molesta.
¿Ante esta actitud que me recomiendas que haga?
La cosa es que nos va a tener así cuando a la empresa se le tercie, terminaremos esos días hasta que los maquuinistas se incorporen y de nuevo 12 horas diarias de camión.