Mi ex vive en el piso común y va a tener un hijo. ¿Riesgo para mi?

Me divorcié hace año y medio, tenemos un piso al 50% que se compró antes del matrimonio, pero quedó reflejado en el convenio del divorcio que él se quedaba viviendo allí y haciéndose cargo de la hipoteca, ya que yo económicamente no podía asumirlo.

Hace poco me llamó para decirme que iba a tener un hijo con su nueva pareja y van a vivir allí.

La gente de mi entorno me está diciendo que en caso de una ruptura entre ellos, un juez podría otorgar el uso del piso a la madre y niño por ser vivienda familiar, con lo cual yo no podría ni vender el piso ni nada hasta que el niño fuera mayor de edad, y en el caso extremo de que mi ex dejara de pagar la hipoteca, tendría que hacerme cargo yo.

Le he planteado a él arreglar este tema: le he ofrecido cambiar escritura e hipoteca a su nombre, le he ofrecido que se busque un alquiler y ese piso lo alquilamos hasta que se pueda vender sin perder dinero, le he ofrecido venderlo incluso perdiendo... Nada le sirve.

Quisiera saber si esto pinta tan mal como me han dicho, en ese caso supongo que tendría que comenzar un proceso contencioso. Yo el piso no lo quiero, él dice que tampoco lo quiere...

Si alguien tiene algún consejo.