Viajar estando de baja sin consentimiento medico

Estoy de baja por ansiedad y necesitaría irme de viaje por una semana ya que mi marido tiene este compromiso con su empresa (es un regalo que le han dado por sus buenos resultados y todos los que lo han recibido van con su pareja) y nos va a crear más problemas si no puedo ir con él ya que, aunque parte de la ansiedad viene de la presión en la empresa porque me han estado dando más trabajo del que puedo asumir dado que estoy con reducción de jornada por cuidado de hijos y quieren presionarme para que haga más horas, otra parte de las tensiones las tengo en el matrimonio por lo que un viaje con todo lujo, todo pagado y sin nuestros hijos creímos que sería positivo porque sería una buena manera de tomarnos las cosas de otra modo y empezar a solucionar nuestros problemas. De hecho los billetes ya están hasta emitidos pero le he comentado esto a la doctora de cabecera que me ha dado la baja y lo único que me ha dicho es que estando de baja no se puede viajar. ¿Qué otras opciones tengo?