Otro hombre con mi ex en nuestro piso.

Hola,
Mi pregunta es muy sencilla, pero todo a la vez, algo complicado:
¿Qué derechos tengo como padre divorciado, si un hombre vive ahora con mi ex y mis hijos, a los cuales les paso una pensión alimenticia a parte de la mitad de la hipoteca?
Lo pregunto porque yo ahora no tengo la misma situación aconómica que hace unos meses. He perdido bastante dinero mensual por una rebaja de horas en el trabajo, a parte, he adquirido antes de que me pasara esto otra vivienda, la cual a penas me queda dinero para mantener. En esta vivienda vivo con mi pareja que está en paro y tiene un niño... Os podéis imaginar el caos que sufro a principio de mes cuando solo nos quedan 200 euros para comer...
En la vivienda que disfruta mi ex mujer, su pareja y mis hijos, los dos están trabajando. El piso está a nombre mio y de mi ex mujer. Y hasta ahora nunca me ha importado nada de todo esto y he ido "tirando" como he podido, pero ahora que mi situación a cambiado... Y sabiendo que ellos tienen dos nóminas, más todo lo que les paso cada mes... Me gustaría saber hasta que punto la justicia estaría de mi parte para que la balanza estuviera más equilibrada.
Muchas gracias de antemano.