¿Puede llevarse a mi hija a una casa sin habitabilidad?

Me separé de mi ex y tenemos una niña de 4 años. Firmamos el convenio y el no me pasa ni un duro y me dijo que cuando le toque llevársela no lo hará ya que vive en una casa con sus padres que no ahí agua caliente, están enganchados a la luz, hay una plaga enorme de cucarachas, esta en ruinas y tienen 4 perros de presa con denuncias por agresividad. Yo vivo con mis padres, trabajo mi casa es normal. Yo me hago cargo de todo lo de mi niña. El caso es que ahora por hacer daño dice que quiere llevársela allí cuando le toque pero sin pagarme la pensión que esto último me da igual. A mi no me importaría si fuera una casa normal. ¿Qué debo hacer? ¿La ley me va a apoyar? Me da pena que mi hija este en esas condiciones. ¿Qué debo hacer?