Puede pasar mi hijo el verano en un casa de construcción ilegal?

Quizá se una pregunta un tanto complicada.

Soy divorciada y mi exmarido tiene obviamente visitas al niño y parte de las vacaciones de verano, semana santa y demás.
Por impagos está al borde de perder su domicilio habitual y en la familia solo queda una opción, irse con sus padres a una casa de campo construida ilegalmente, sin permisos, arquitectos y demás y que obviamente ni está registrada ni existe como vivienda.

El caso es que ya me ha dicho que se va a ir a vivir allí, y que el niño ira allí durante las vacaciones y los fines de semana, ¿puedo evitarlo de algún modo?
No me hace ninguna gracia que mi hijo pase semanas enteras en un casa que no cumple lo más minimo en condiciones de seguridad y demás.