Cambio de domicilio

Hola expertos!
Les cuento mi caso brevemente:
Estoy casado con mi actual pareja con sus dos hijas de 7 y 6 años. Patria-Potestad compartida con el padre pero la guarda y custodia la tenemos nosotros. Las dos partes vivimos en el mismo pueblo.
Me ha salido un trabajo muy bien remunerado a 55 km, y pensabamos tal vez en irnos a vivir allí.
Tengo entendido que en esta situación, necesitamos contar con el visto bueno del padre(el cual no tendremos).
¿Vamos a tener problemas?
gracias de antemano