No tiene domicilio estable

Estoy a punto de firmar el convenio regulador de separación por mutuo acuerdo. Tenemos 2 hijos, uno de 2 años y otra de 5 años, él no quiere declarar un domicilio. Sé que la última vez estaba en una fonda, ahora no tengo idea, y tampoco contesta a las llamadas que le hago al móvil. ¿Hasta qué punto es legal?, El régimen de visitas se ha estipulado un fin de semana cada uno, pero sin la pernocta, hasta que él declare un domicilio, y las vacaciones se los llevará 15 días en verano, él quería un mes y medio. ¿Podría negarle que se los lleve a dormir? Qué dice la ley al respecto. El teléfono que da es un móvil, pero a mi no me contesta nunca, incluso me comentó que ese número se lo iban a cortar. Tengo miedo que durante el tiempo que estén los niños con el padre (vacaciones), me mantenga incomunicada de ellos. En el convenio pone que cuando él fije su residencia estable tendrá el derecho de la pernocta.