¿Puedo rechazar una adaptación de puesto de trabajo?

Debido a una medicación que tomo no puedo conducir, pedí una adaptación de mi puesto de trabajo, ya que a veces me tengo que desplazar para alguna de mis labores (soy trabajador social), y la adaptación que me proponen no me convence, me cambian de municipio, y tendría que buscar alguien que me llevase, o cambiar mi residencia. ¿Es posible rechazar la adaptación y quedarme en mi puesto sin conducir bajo prescripción médica? ¿Y si es posible como debería hacer?