Fiestas de convenio

Trabajo como administrativa en el sector de la construcción. Cuando en el convenio del sector viene señalada alguna fiesta de convenio, nadie trabaja (a menos que alguna obra corra prisa y tenga que ir alguna cuadrilla aislada). Sin embargo, mi jefe me exige que yo sí tengo que estar en la oficina ya que, según él, yo no me rijo por el mismo convenio.
He intentado explicárselo en varias ocasiones, pero tratar de hablar con él es inútil, ya que lo que no le conviene prefiere no escucharlo y se marcha dejándome con la palabra en la boca.
Mi pregunta es: ¿Es legal que me exija que yo tengo que trabajar y los demás no?
Muchas gracias anticipadas por su respuesta.