No puedo mudarme por la patria potestad

Estoy separada, tengo la custodia de mis hijos pero ambos la patria potestad. Por lo que cualquier cambio en lo que afecte a mis hijos, es cosa de los dos. Mi casa es el domicilio legal de mis hijos. Me quiero cambiar de casa, en el mismo barrio, sin tener que cambiar de colegio, de médicos a los hijos, el padre no le altera los días ni los fines de semana que tiene a los niños, nada de nada, solo que está un poco mas lejos de mi domicilio actual. Es una casa mejor situada y que cumple mas mis necesidades. El padre me niega que me traslade. Que puedo hacer? Puedo perder la custodia por esto? Es lo que me está amenazando, incluso me pone a los niños en mi contra. ¿Que debo hacer?
Gracias de antemano
Saludos