Guardia y custodia

Hola mi problema es el siguiente, soy madre soltera y tengo una hija de 10 años. Tengo la guardia y custodia de mi hija desde que nació y dentro de un par de meses nos vamos a vivir con mi pareja actual a Cádiz ( nosotras vivimos en Madrid ) y el padre a parte de que se niega y esta haciendo daño psicológico a mi hija me dice que nunca podré irme sin su consentimiento.Mi hija cada vez rechaza más al padre debido a su comportamiento y me gustaría saber si es cierto que yo no puedo vivir con mi pareja en otra comunidad, si pudieras ayudarme en esto, estoy muy asustada al respecto por la posibilidad de que sea cierto y no pueda rehacer mi vida si no es en Madrid. Muchas gracias