Pregunta sobre vivienda familiar

mi novio vive en el domicilio familiar con sus hijos,tiene la custodia compartida,el se quedo en la vivienda con los niños,todo esta en la sentencia de divorcio.los niños son mayores de edad,mi pregunta es:si el se va a vivir a otra vivienda¿,su ex mujer se puede meter en la casa a vivir con los hijos?la casa es el 50% de cada uno,a repartir cuando los niños vivan independiente.¿El podrá seguir disfrutando de su vivienda ,y su ex no podrá hacer uso de ella hasta que los niños se independicen?o¿ perdería todos los derechos al salirse?.gracias.